【MOT】Frame-wise Motion and Appearance for Real-time Multiple Object Tracking

余生颓废 提交于 2020-02-23 17:17:25

Abstract

测试的计算量不会随着随着object的增加而增加。

设计了一个Frame-wise Motion and Appearance (FMA), computes the Frame-wise Motion Fields (FMF) between two frames

As auxiliary information is used to fix uncertain matches, Frame-wise Appearance Features (FAF) are learned in parallel with FMFs。

即FMA计算得到的FMF用于matching;FAF用于修正一些不确定的matches。

然后是一个real-time的方法。

Intro

不仅提出FMF\FAF而且还提出一个高效的inference方法连接objects。,并且用FAF修正一些不明确的associations

25fps

Method

 FMF

FMF的GT计算如下

如Fig2里一样,我们会如式子(1)(2)里一样计算双向的motion vectors。这样不仅稳定还能处理以下状况:

FMF可以同时计算multiple objects。用一个MSE loss约束

FAF

当objects are crowed的时候,会出现不好拟合的情况。所以FAF会通过FMF找到一些bbox,然后用Re-IDd方法验证id。

给出两帧的bbox,会先crop出patches from FAF,然后计算二者的相似度。

训练的时候,同一个object的croppped feature会concatenate为positive samples,不同的object会conat为negative samples。正负比为4:1

Inference Algorithm

IOU(-)代表track里上一个detection的bbox和下一帧里候选框的IOU

SIM(-)代表track里上一个detection的bbox和下一帧里候选框的appearance similarities

所以Inference步骤是:

1:关联前一帧的tracks到后一帧

2:关联后一帧的tracks到前一帧

3:把剩下的tracks和detections用FAF关联

 

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!