多目标跟踪的评价指标
2024-05-10
概述
评价指标
FP
FP：False Positive，即真实情况中没有，但跟踪算法误检出有目标存在。
FN
FN：False Negative，即真实情况中有，但跟踪算法漏检了。
IDS
IDS：ID Switch，目标ID切换的次数。
MOTA
MOTA: Multiple Object Tracking Accuracy，多目标跟踪准确度。MOTA 是最广泛使用的指标，可以密切代表人类视觉评估。在 MOTA 中，匹配是在检测级别完成的。在 MOTA 中使用身份切换 (IDSW) 测量关联，当跟踪器错误地交换对象身份或轨道丢失并使用不同的身份重新初始化时，就会发生关联。MOTA 测量三种类型的跟踪错误：False Positive, False Negative, and ID Switch
其中T指的是ground truth中bounding box的数量。可以看出，MOTA其实是对FN、FP、Φ \PhiΦ进行了惩罚，然后又利用T进行正则。
MOTA可以较好地反映跟踪准确度，是当前MOT的主要评估指标。但MOTA不能反映MOT算法对同一个目标轨迹长时间跟踪性能表现。
IDF1
IDF1: ID F1得分，正确身份标签赋予的检测框与平均ground truth和计算的检测数量的比值。IDF1 强调关联准确性而不是检测。IDF1 使用 IDTP（Identity True Positives），其中当 S ≥ α 的轨迹时，prID 与 grID 匹配。IDF1 是正确识别的检测与地面实况和计算检测的平均数量之比。匈牙利算法选择要匹配的轨迹以最小化 IDFP 和 IDFN 的总和。
IDF1 结合了 IDP(ID Precision) 和 IDR(ID Recall)。
MT
MT：Mostly Tracked，大多数目标被跟踪的轨迹数量。目标被成功跟踪到的轨迹长度与轨迹总长度的比值大于等于80%的轨迹数量。
ML
ML：Mostly Lost，大多数目标被跟丢的轨迹数量。目标被成功跟踪到的轨迹长度与轨迹总长度的比值小于等于20%的轨迹数量。
MOTP
MOTP：Multiple Object Tracking Precision，多目标跟踪精度。表示得到的检测框和真实标注框之间的重合程度。
FPS
FPS：Frames Per Second，每秒处理的帧数。
HOTA
HOTA：高阶跟踪精度
HOTA 是用于对跟踪器进行排名的统一度量标准。HOTA 可以分解为对应这五种错误类型的组件：Detection Recall、Detection Precision、Association Recall、Association Precision 和 Localization Accuracy。因此，HOTA 的错误类型是可微的并且是严格单调的，提供有关跟踪器在每种不同基本错误类型方面的性能信息。
HOTA可以更好的对齐评价得分与人的视觉上的观感。