DRIVE Labs 系列文章

第四站：监控车外的风吹草动

自动驾驶汽车的行驶过程从来都不是“孤岛”行为，道路上临近的车辆，路边漫步的行人，乃至空中的飞鸟，都有可能与自动驾驶汽车产生交互，因而实时监测行驶路径周围的环境对于自动驾驶汽车规划前进方向以及保证安全驾驶而言至关重要。DRIVE Labs“常学常新”系列是 NVIDIA DRIVE 团队推出的、以一辆自动驾驶汽车从出发到最终目的地为线索的系列文章，共分 8 期主题，将为大家详细解析自动驾驶汽车如何一路“过关斩将”，以及 NVIDIA 技术与产品在不同场景中提供的支持，以便读者能更好地了解自动驾驶。

本期是第四期“监控车外的风吹草动”，将为大家介绍环绕摄像头与雷达感知如何赋能自动驾驶汽车“观察”车周环境、了解道路实时动态，以实现安全驾驶。

上期文章主要介绍了自动驾驶汽车如何利用深度神经网络判断交通标志和信号灯，本期文章将转换视角，带大家探索用于驾驶环境监测环绕摄像头和多视角 LidarNet，以及 AI 如何提升自动驾驶汽车的感知能力和感知可靠性，一起来看看吧！

自动驾驶汽车在行驶过程中所面临不仅是车道线、交通标志等相对固定的环境内容，速度不断变化的邻近车辆、道路两边随时可能穿过斑马线的行人、远处蹦蹦跳跳玩耍的小孩，甚至于是空中穿梭飞行的麻雀等，都会对自动驾驶汽车的行驶带来挑战。因此，自动驾驶汽车还需在遵守固有交通规则的情况下，提升“观察”能力，实时监测动态环境，因时而变，根据实际情况进行驾驶调整。

多视角 LidarNet 纵“览”全局

激光聚焦：多视角 LidarNet 如何为自动驾驶汽车提供丰富视角

自动驾驶面临着交错复杂的行驶环境，利用激光雷达所提供的激光聚焦技术，通过从周围环境反射回来的激光信号，可助力自动驾驶汽车构建详细准确的 3D 场景来理解其所处的周围环境。然而，用于处理激光雷达数据的传统方法存在一定的局限性，因此，NVIDIA 推出了如上述视频所示的多视角 LidarNet 深度神经网络（DNN），该网络能借助汽车周围场景的多个视角或视图，助力自动驾驶汽车构建完整的环境全景图。

利用多视角 LidarNet 深度神经网络感知周边环境的过程被分为两个阶段：

第一阶段，使用透视图中的激光雷达扫描数据提取相关场景的语义信息（如下图）并进行语义分割，同时利用 DNN 的感知性能进行动态（如汽车、卡车、公共汽车、行人、骑自行车的人和摩托车手）、静态（如路面、人行道、建筑物、树木和交通标志）场景分类。接下来，把基于以上激光雷达网络生成的语义分段，投射至鸟瞰图中。而后，对以上语义分段与从激光雷达点云中获得的各个位置的高度数据进行组合，以此作为第二阶段的输入。

多视角 LidarNet 视角示意

第二阶段中，DNN 会在带有鸟瞰图标签的数据上进行训练，以预测第一阶段标识的对象其周围自上而下的 2D 边界框。此阶段还将基于语义和高度信息来提取对象实例。

将以上两个阶段相连接，就可得到仅处理一个激光雷达数据的激光雷达 DNN，该 DNN 使用端到端深度学习来输出丰富的场景语义分割，其输出结果还带有检测对象的 2D 边界框。基于该 DNN，可实现精准的道路检测。

多视角 LidarNet 自上至下鸟瞰图示意（BEV）

除了多视角 LidarNet 以外，NVIDIA 激光雷达处理软件堆栈还包括一个激光雷达对象追踪器，可基于计算机视觉的后处理系统、使用鸟瞰图 2D 边界框信息和激光雷达点几何图为每个对象实例计算 3D 边界框。此外，该激光雷达对象追踪器还可以帮助稳定每帧 DNN 的错误检测，并与低级激光雷达处理器一起，计算汽车应避免的严格物理边界的几何围栏。

基于两个阶段相结合的方法，可实现完整且高精度的道路检测，且依托 NVIDIA DRIVE™ AGX 平台，该 DNN 可实现高效处理，每次激光雷达扫描的推理时间仅需 7 毫秒，能为自动驾驶汽车提供实时且丰富监测视角，帮助其理解其所处的周围环境。

环绕摄像头“眼”观六路

摄像头全方位视觉

自动驾驶汽车在行驶过程中，除监测周围动态和静态环境之外，持续追踪环绕视野中的车辆或行人也至关重要。以上视频为大家介绍了 NVIDIA 如何使用六摄像头配置 360 度查看车辆周围的情况，以及如何追踪周边环境中移动的对象。

如今，道路上的许多汽车配备了先进的驾驶辅助系统，依靠前后摄像头来实现自动巡航控制（ACC）和车道偏离警示。然而，要实现完全的自动驾驶，还需要摄像头拥有完整的 360 度全方位环绕视野。摄像头目标跟踪是自动驾驶汽车摄像头环绕视野流程（即感知）的主要组成部分。当检测目标出现在连续的摄像头图像当中时，该软件会对其进行跟踪并用独特的标识编号进行标记。

目标跟踪的准确性对于目标距离以及速度预估的可靠性起着关键作用，高准确性能够尽量减少遗漏或误检的障碍物，并防止这些检测结果传输到自动驾驶汽车计划和控制功能当中，从而导致系统根据这些输入做出停车或加速等错误决策。

NVIDIA 环绕摄像头目标跟踪软件目前采用了六个摄像头，能够实现 360 度全方位的感知，让汽车拥有无盲点的视野。该软件在全六个摄像头图像中对目标进行跟踪，并用独特的识别编码来标记所检测目标在图像中的位置以及碰撞时间（TTC）的预估。被跟踪目标的外观模型由从目标内部所选的特征点构成，这些特征点由 Harris 角点检测算法（Harris Corner Detector）得来，并且在目标旋转和平移的状态下也不会发生丢失，有利于保持数据的完整性和准确性。

目标跟踪和碰撞时间计算图表

此外，NVIDIA 的目标跟踪软件初始化延迟较低且能在 30 到 150 毫秒内移除虚假的跟踪物体，并且不会导致其他目标的遗漏。即使在目标跟踪频率降低的情况下，目标跟踪软件仍而可以达到高精确率、高召回率以及跟踪识别的稳定性。

AI 助力自动驾驶汽车改善雷达感知能力

自动驾驶汽车不仅需要探测周围的移动物体，还必须能够分辨静止物体。乍一看，基于摄像头的感知似乎足以做出这些判断。但是，光线不足、恶劣天气或物体被严重遮挡的情况会影响摄像头的视野。因此，雷达等各种冗余传感器也必须能够执行这一任务。但仅利用传统处理技术的雷达传感器可能还不足以完成此项任务。NVIDIA利用了 AI 来解决传统雷达信号处理在区分移动物体和静止物体方面的不足，从而提高了自动驾驶汽车的感知能力。

为克服传统雷达处理技术在判断静止车辆方面存在的局限性，NVIDIA 采用了 DNN 形式的 AI 技术。具体而言，NVIDIA 训练 DNN 来探测移动物体和静止物体，并使用雷达传感器的数据准确区分不同类型的静止障碍物。

在训练 DNN 时，首先需要解决雷达数据稀疏问题，由于雷达的反射信号可能非常稀疏，因而难以仅凭雷达数据直观地识别和标记车辆。NVIDIA 可基于激光雷达的激光脉冲技术创建周围物体的 3D 图像，即通过将相应的激光雷达数据集中的边界盒标签，传输至雷达数据中，来创建 DNN 的真值数据（如下图），以解决雷达数据稀疏问题。在这个过程中，雷达 DNN 不仅能够学习如何探测汽车，还能够学习探测其 3D 形状、尺寸和方向等额外信息并基于其区分不同类型的障碍物（即使它们处于静止状态），以提高真实探测的置信度并减少误报。

示例：从激光雷达数据域向雷达数据域传播的汽车边界盒标签

雷达 DNN 输出与经典雷达处理技术共同构成了雷达障碍物感知软件堆栈的基础。此堆栈旨在为基于摄像头的障碍物感知提供全面冗余，实现仅限雷达的规划和控制输入，并与摄像头或激光雷达感知软件融合，助力自动驾驶汽车可以精准感知其周围环境。

环绕摄像头雷达融合以提升感知可靠性

想让自动驾驶技术不仅限于辅助驾驶，可靠的 360 度全方位目标感知能力不可或缺。对车辆周围的目标进行检测并做出相应反应是自动驾驶汽车确保安全舒适驾驶体验的必备能力。NVIDIA 使用环绕雷达进行障碍物检测和追踪，并借助传感器融合来整合摄像头和雷达的感知结果。

环绕摄像头-雷达融合是基于环绕摄像头和环绕雷达感知系统之上构建的一个传感器融合层，旨在利用每种传感器类型的互补优势，在提供高质量语义信息的同时也能提供准确的位置、速度和加速估算信息。核心摄像头-雷达融合的功能也能被重新应用于每个摄像头，因此整个系统也具有可扩展性。

包含 4 个摄像头和 8 个雷达传感器配置的环绕摄像头-雷达融合处理流程

摄像头-雷达融合模块是融合处理流程的主要组成部分（如上图），可将单个摄像头检测到的目标与环绕雷达感知到的目标相融合，融合过程始于两个传感器之间的目标匹配或关联。这背后的核心意义是用一种有效的方法进行跨传感器匹配目标，并以提高相应目标 3D 信息质量的方式将来自各传感器的信号进行融合。此外，预处理对于识别匹配（即融合）过程中正确的摄像头目标和雷达目标来说至关重要，它可以通过一个简单的技术实现，比如可以考虑到落在摄像头和雷达感知视场交叉点中的目标，这一方法在用于过滤掉出现在一般场景中的无关目标上非常有效。

环绕摄像机雷达融合的功能非常灵活，支持多种传感器配置，包括 6 个摄像头 8 个雷达的组合；4 个摄像头 8 个雷达的组合；2 个摄像头 4 个雷达的组合；1 个摄像头 1 个雷达的组合。开发者可以通过 NVIDIA DRIVE Software 10.0 版本使用该功能，来助力自动驾驶汽车实现对周围环境的准确感知。

以上就是本期全部内容。希望大家喜欢本次的自动驾驶之旅，下期我们将在此基础上为大家介绍 NVIDIA 如何利用 AI 和 DNN 提高道路状况的可见性，敬请期待！点击“阅读原文”，观看更多 NVIDIA DRIVE Labs & Dispatch 视频，了解 NVIDIA DRIVE 软件如何助力自动驾驶。

往期精彩回看

「入门篇」: 自动驾驶基础功能

「第二站」: 基本路况感知

「第三站」: 读懂交通标志与信号灯

扫描下方海报二维码，即可免费注册 GTC23，在 3 月 24 日 听 OpenAI 联合创始人与 NVIDIA 创始人的炉边谈话，将由 NVIDIA 专家主持，配中文讲解和实时答疑，一起看 AI 的现状和未来！