采用NVIDIADeepStreamSDK6.2的先进实时多目标跟踪器

2023-04-20 22:25:52    来源 : 面包芯语

视频 1:猎豹追逐猎物(资料来源:Adobe)

当猎物距离较远时,猎豹长周期内的运动模式对规划捕猎更为重要。而随着猎物越来越近,在做出预测时,猎物短周期内的运动模式则会成为关键点。猎豹的视觉系统会锁定猎物,并一直跟踪它,直到捕获。


(资料图片仅供参考)

同样,如果想生成关于目标的轨迹,需要随着时间的推移始终跟进识别同一目标,即使在视觉外观或运动动力学发生突然变化的情况下,也是如此。然而,当目标被部分或完全遮挡时,要做到这一点就会更困难。通常来说,在附近有长时间的遮挡,或视觉上有引人注目的物体等极具挑战性的情况下,即使是食肉动物或拥有强大视觉系统的人类,也经常会失去对目标的跟踪(图 1)。

视频 2:室内大堂的行人追踪

使用相同的检测模型时,并排的视觉比较使您能够获得不同对象跟踪器类型的行为和质量的定性见解。NvDCF 跟踪器具有最高的精度,因此我们在视频 3 中更仔细地显示了其跟踪结果。

视频 3:NvDCF 跟踪器在完全遮挡的情况下跟踪行人

下方图 2 的场景中央有一个大柱子,会导致走在后面的人长时间被完全遮挡。对于任何目标检测或跟踪系统来说,这都是一个特别具有挑战性的场景。一些检测错误包括部分或双重检测和遗漏检测,根据背景和物理环境的不同,可能会非常频繁地发生。

视频 4:NvDCF 跟踪器在完全和部分遮挡情况下

对行人进行跟踪

尽管存在这些挑战,您可以看到 NvDCF 跟踪器在大多数情况下只需几个 ID 开关即可执行鲁棒跟踪。在目标离开场景之后,目标跟踪就会被配置为立即终止。视频 4 中离开场景的一些目标,在重新进入后按照计划被分配了不同的 ID。

仔细观察图 3 和视频 4 中的目标 ID [3],如图 3 和视频 4 所示。在整个行程中,他多次经历严重的完全和部分遮挡,但他从一开始就一直被跟踪,直到离开现场。

视频 5:(左)跟踪器使用的图像模板;

(右)目标周围的相关性响应

这些结果是使用相对简单的基于 ResNet-10 的 ReID 模型生成的。为了获得更好的结果,我们鼓励您尝试更高级的自定义 ReID 模型。

DeepStream 6.2 中的 NvDCF 跟踪器是一款先进的多目标跟踪器,在精度和性能之间取得了很大的平衡。在 MOT17 Challenge 排行榜上,您可以看到学术界和工业界都积极提交了许多跟踪器。NvDCF 跟踪器在 MOT17 排行榜上显示为 NvMOT _ DSv62 型,是实时生成输出的在线跟踪器中的顶级跟踪器之一。

视频 6:繁忙十字路口的车辆跟踪

在视频的左上角,显示了 TrafficCamNet 检测器的对象框,您可能会注意到检测噪音。其中包括检测到的 bbox 中的抖动、在单个 bbox 中捕获多个对象的双重检测、由于遮挡而导致的部分检测等等。

当车辆在交通杆后被遮挡时,这些检测误差和噪声会变得更加严重。要了解 DeepStream 多对象跟踪器如何处理这些噪声检测,请参阅视频 6 ,并在视频 7 中更仔细地了解 NvDCF 跟踪器的跟踪结果。

视频 7:NvDCF 跟踪器的车辆跟踪

即刻点击“阅读原文”或扫描下方海报二维码,在 NVIDIA On-Demand 上观看 GTC 精选回放,包括主题演讲相关精选、中国本地精选内容、生成式 AI 专题以及全球各行业及领域最新成果!

标签:

相关推荐

x 广告

如有意见请与我们联系 邮箱:8 97 180 9 @qq.com

豫ICP备2021032478号-31

Copyright ©  2015-2022 元宇宙版权所有