创新点:(解决相机运动的问题、mis-detection、re-track)

当ROI有相似外观的时候,MOT就变得比较难了。在那种情况下,对于判别多个物体,运动线索就显得很重要了。为了处理不可预测的相机运动,在目标间的一种结构化运动约束因其对相机运动的鲁棒性而被使用。在本文中,提出了一种新的数据关联方法,该方法可以在出现大的相机运动的时候,有效的利用结构化的运动约束。除此之外,为进一步提高对于mis-detections和false positives的数据关联的鲁棒性,一种新的事件聚合方法被使用,目的是在在线进行MOT时,将结构性约束纳入分配成本(assignment costs)。

本文提出了一种新的数据关联方法,对在线2D MOT而言,可以有效地利用物体间结构化的运动约束,在这个过程中,把相机运动和由频繁mis-detection导致的歧义性考虑进来。这一结构化的约束由物体间位置和速度的差异来表示。使用这约束,本文介绍了一种新的cost function,把球机运动(global camera motion)考虑进来以关联多个目标。此外,为降低由mis-detections导致的歧义性,提出了一种事件聚合法,考虑到了结构化约束和分配事件。

所提的数据关联和结构化约束可以被纳入two-step在线2D MOT框架中。第一阶段,即使在出现大的相机移动和相机抖动的情况下,也使用所提的结构化约束事件聚合法,这样能够鲁棒的持续估计被跟踪的物体。第二阶段,推断并且恢复帧间的missing objects以减轻来自检测器的mis-detection的问题。SO,在帧间使用物体的结构化约束,可以再次跟踪(re-track)到第一阶段来自于被跟踪物体的missing ones。

本文方法使用结构化约束来解决the online 2DMOT problem with the frame-by-frame data association that assigns objects to correct detections。集成结构化约束,并且考虑到abrupt camera motion和由mis-detections导致的歧义性。Predicted missing objects by structural constraint。

总之,在这篇文章中,提出了一种新的数据关联方法,可以有效的在出现大的相机motion时使用结构化的运动约束。此外,为了减轻由于mis-detection and multiple detections造成的歧义性,提出了一种新的事件聚合方法以将结构化约束整合到assignment event costs中。最后,所提的数据关联方法和结构化约束被合成了the two-step online 2D MOT algorithm which simultaneously tracks objects and recovers missing objects。