機器之心報導
編輯：魔王
香港中文大學多媒體實驗室（MMLab）OpenMMLab 開源一體化視頻目標感知平臺 MMTracking。
新年伊始，香港中文大學多媒體實驗室（MMLab）OpenMMLab 又有新動作，發布了一款一體化視頻目標感知平臺 MMTracking。該框架基於 PyTorch 寫成，支持單目標跟蹤、多目標跟蹤與視頻目標檢測，目前已開源。
GitHub 地址：https://github.com/open-mmlab/mmtracking
MMTracking 效果展示。
據介紹，MMTracking 具備以下主要特性：
1. 首個開源一體化視頻目標感知平臺
對視頻內的目標進行感知識別一直是學界、業界都非常關心的問題。這個問題在學界常被細分為不同的子問題，比如視頻目標檢測、多目標跟蹤與單目標跟蹤。具體來說，
視頻目標檢測只需對視頻內的每一幀進行檢測，不要求對不同幀中的同一目標進行關聯。
多目標檢測在完成視頻目標檢測的基礎上，更加側重於對視頻內的同一目標進行關聯。
單目標跟蹤更加側重人機互動，算法需要在給定一個任意類別、任意形狀目標的情況下，對其進行持續跟蹤。
近幾年來，雖然各個任務都湧現了許多優秀的算法，但這些領域仍然缺少開源的代碼框架，給代碼復現、借鑑、公平對比帶來了很大困難。OpenMMLab 將這些任務融合到了同一框架下，希望能夠作為開源的一體化視頻目標感知平臺，推動不同子領域間的融合、互促與發展。
2. OpenMMLab 內部項目間的充分交互
視頻目標感知在大部分情況下可以認為是 2D 目標檢測的下遊任務，十分依賴各種 2D 目標檢測算法。在此之前，如何使用或切換不同的 2D 目標檢測器其實是一個很煩瑣耗時的任務。
MMTracking 充分利用了 OpenMMLab 其他平臺的成果與優勢，比如它 import 或繼承了 MMDetection 中的大部分模塊，極大地簡化了代碼框架。在這種模式下，通過 configs 可以直接使用 MMDetection 中的所有模型。以多目標跟蹤舉例，每一個多目標跟蹤模型多由以下幾個模塊組成：
Configs 示例：
現階段的 ReID 模型也繼承了 MMClassification 中的一些模塊並將在後期增加其他支持。
受益於 OpenMMLab 的這種模塊化設計，MMTracking 可以利用其他圖像級平臺的已有成果，從而只需要注重視頻部分模塊的設計與開發。同時，如果用戶需要單獨訓練一個目標檢測器，該工具也支持直接使用 MMDetection 的 configs 進行訓練，只需要在 config 中添加一句 USE_MMDET=True 即可將模式切換到 MMDetection 下，進行前序模型訓練。
3. 高效、強大的基準模型
視頻目標感知領域中的不同方法往往各成一派，缺乏公認的訓練方法與準則，因此在很多時候很難做到真正的公平對比。
MMTracking v0.5 復現了各個領域的主流算法，包括：
視頻目標檢測：DFF、FGFA、SELSA
多目標跟蹤：SORT、DeepSORT、Tracktor
單目標跟蹤：SiameseRPN++
據 OpenMMLab 知乎文章介紹，MMTracking 在保證高效訓練與推理的基礎上，有些模型甚至超出官方實現，例如：
對視頻目標檢測算法 SELSA 的實現結果（第一行）相比於官方實現（第二行），在 ImageNet VID 數據集上 mAP@50 超出 1.25 個點。
對多目標跟蹤算法 Tracktor 的實現結果（第一行）相比於官方實現（第二行），在 MOT17 數據集上 MOTA 超出 4.9 個點，IDF1 超出 3.3 個點。
對單目標跟蹤算法 SiameseRPN++ 的實現結果（第一行）相比於官方實現（第二行），在 LaSOT 數據集上的 Norm precision 超出 1.0 個點。