**

如何评价

如何衡量目标跟踪，需要从以下几个点出发：

  • 所有出现的目标都要及时能够找到；
  • 目标位置要尽可能与真实目标位置一致；
  • 每个目标都应该被分配一个独一无二的 ID，并且该目标分配的这个 ID 在整个序列中保持不变。

根据这些要点，学者们设计了以下几种评价指标。

具体指标

MOT挑战赛的评价指标：https://motchallenge.net/results/MOT17/
image.png
互联网的一张图：https://blog.csdn.net/u012477435/article/details/104158573
多目标跟踪评价指标 - 图2

MOTA：多目标跟踪准确度 (Multiple Object Tracking Accuracy, MOTA)

衡量单摄像头多目标跟踪准确度的一个指标

多目标跟踪评价指标 - 图3

image.png
图来自论文：MOT16: A Benchmark for Multi-Object Tracking

  • FN 为 False Negative（漏报），整个视频漏报数量之和。
  • FP 为 False Positve（误报），整个视频误报数量之和。
  • IDSW（IDS） 为 ID Switch（ID切换总数，误配）：上图图(a)，从红色的切换到了蓝色，记为一个 IDSW，整个视频误配数量之和。
  • GT 是 Ground Truth 物体的数量，整个视频 GT 数量之和。

MOTA 越接近于 1 表示跟踪器性能越好，由于有跳变数的存在，当看到 MOTA 可能存在小于 0 的情况。

这三项依次表示缺失率（多目标跟踪评价指标 - 图5）、误判率（多目标跟踪评价指标 - 图6）和误配率（多目标跟踪评价指标 - 图7）

MOTA 主要考虑的是 tracking 中所有对象匹配错误，主要是 FP、FN、IDs、MOTA 给出的是非常直观的衡量跟踪其在检测物体和保持轨迹时的性能，与目标检测精度无关。

MOTP：多目标跟踪精确度 (Multiple Object Tracking Precision, MOTP)

衡量单摄像头多目标跟踪位置误差的一个指标

多目标跟踪评价指标 - 图8

多目标跟踪评价指标 - 图9 表示 第 t 帧的匹配个数，对每对匹配计算匹配误差 多目标跟踪评价指标 - 图10 表示第 t 帧下目标 多目标跟踪评价指标 - 图11 与其配对假设位置之间的距离

MT 大多数跟踪（Mostly Tracked）

A target is mostlytracked if it is successfully tracked for at least 80% of its life span.

一条轨迹被跟踪到 80% 以上就可以认为是 MT

Note that it is irrelevant for this measurewhether the ID remains the same throughout the track.

这里需要注意的一点是：不管这条轨迹上 ID 如何的变化（比如预测的时候发生了变化），但只要还是这条轨迹占到真实轨迹的 80% 以上就可以认为是 MT。（下面这张图希望可以帮助理解）

image.png
image.png


ML 大部分缺失跟踪（Mostly Lost）

If a track is only recovered for less than 20% of its total length, it is said to be mostly lost

一条轨迹只被跟踪到 20% 以下就可以认为是 ML

image.png

PT 部分跟踪（Partially Tracked）

除了 MT、ML ，其他的都认为是 PT

Frag 或者称 FM（Fragmentation）

To that end, the number of track fragmentations(FM) counts how many times a ground truth trajectory isinterrupted (untracked). In other words, a fragmentationis counted each time a trajectory changes its status from tracked to untracked and tracking of that same trajectoryis resumed at a later point.

就是一条轨迹被切断的次数，按照论文的意思，应该是从跟踪到被切断计算一次 Frag，从不被跟踪到被跟踪不计算 Frag，如下图，Frag 值计算一次（不知道理解得对不对？）
image.png

image.png

ID 相关指标

  • IDP：识别精确度 (Identification Precision) 是指每个行人框中行人 ID 识别的精确度。

多目标跟踪评价指标 - 图17

IDTP、IDFP 分别代表真正 ID 数和假正 ID 数，类似于混淆矩阵中的 P，只不过现在是计算 ID 的识别精确度

  • IDR：识别回召率 (Identification Recall) 是指每个行人框中行人 ID 识别的回召率

多目标跟踪评价指标 - 图18

其中 IDFN 是假负 ID 数。

  • IDF1：识别 F 值 (Identification F-Score) 是指每个行人框中行人 ID 识别的 F 值

多目标跟踪评价指标 - 图19

细节很多，建议看看这篇论文： MOT16: A Benchmark for Multi-Object Tracking

相关论文与代码


CLEAR MOT** : Bernardin, K. & Stiefelhagen, R. “Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metric” [paper]

IDF1 : Ristani, E., Solera, F., Zou, R., Cucchiara, R. & Tomasi, C. “Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking” [paper]

MOT16: A Benchmark for Multi-Object Tracking

Evaluation Code: [Python]

参考