2017目標跟蹤算法綜述

2021-02-15 doctorimage
2017目標跟蹤算法綜述

本文所提的跟蹤主要指的是單目標跟蹤，多目標跟蹤暫時不作為考慮範圍。

本文主要從常用的評價標準，如EAO,EFO，fps等，分析2016-2017年最新出的目標跟蹤文章在應用層面的優缺點。

算法原理不作為本文重點，旨在對比不同方法的「效果和時間性能」，方便大家根據不同的業務常見選擇不同的方法。

本文按照以下幾類進行展開，並不局限於傳統方法或者深度學習。

TCNN & C-COT & ECO (根據名次遞增) CFNet & DCFNet & SANet & DRLT (端到端CNN & RNN) CA-CF & BACF （利用背景信息，框架性通用改進） ACET & Deep-LK (優於C-COT or MDNet, 且CPU實時) LMCF & Vision-based (速度提升，但性能提升不明顯CPU實時)

[TOC]

目標跟蹤VOT2016 BenchMark評價標準介紹

見 目標跟蹤VOT2016 BenchMark評價標準介紹（註：微信屏蔽了連結哈）

推薦網站

OTB Results(https://github.com/foolwood/benchmark_results): 這是foolwood總結的目標跟蹤發展主線圖：

這是foolwood總結的
這是浙江大學Mengmeng Wang同學在極視角公開課上展示的一個總結：

foolwood這個人在github上最新的一些跟蹤方法常見數據集上的結果比較。

TrackerAUC-CVPR2013Precision-CVPR2013AUC-OTB100Precision-OTB100AUC-OTB50Precision-OTB50Deep LearningECO--0.694---YSANet--0.6920.928--YMDNet0.7080.9480.6780.9090.6450.890YTCNN0.6820.9370.6540.884--YC-COT0.6730.8990.6710.8980.6140.843NCRT--0.6440.8750.5940.835NDNT0.6640.9070.6270.851--YSINT+0.6550.882----YDRT0.6550.892----YRDT0.654-0.603---YSRDCFdecon0.6530.8700.6270.8250.5600.764NDeepLMCF0.6430.892----YMUSTer0.6410.8650.5750.774--NDeepSRDCF0.6410.8490.6350.8510.5600.772YSINT0.6350.851----YLCT0.6280.8480.5620.7620.4920.691NSRDCF0.6260.8380.5980.7890.5390.732NLMCF0.6240.839----NSCF0.6230.874----NSiamFC0.6120.815----YSiamFC_{3s}0.6080.8090.5820.773--YCF20.6050.8910.5620.8370.5130.803YHDT0.6030.8890.6540.8480.5150.804YStaple0.6000.7930.5780.784--NFCNT0.5990.856----YCNN-SVM0.5970.8520.5540.8140.5120.769YSCT0.5950.845----YSO-DLT0.5950.810----YBIT0.5930.817----NDLSSVM0.5890.8290.5410.767--YSAMF0.5790.7850.5350.743--NRPT0.5770.805----NMEEM0.5660.8300.5300.7810.4730.712NDSST0.5540.7370.5200.6930.4630.625NCNT0.5450.723----YTGPR0.5290.7660.4580.643--NKCF0.5140.7400.4770.6930.4030.611NGOTURN0.4440.6200.4270.572--YTCNN & C-COT & ECO (根據名次遞增)==TCNN:17arXiv CVPR(TCNN)_Modeling and Propagating CNNs in a Tree Structure for Visual Tracking==

2016年8月25提交，已發表在CVPR

2016年VOT比賽的亞軍，效果最佳，性能較差，但樹結構的思想可以借鑑

方法dataset幀率fps機器配置是否Deep LearningTCNNOTB-50、OTB-100、VOT-20151.5Intel Core i7-5820K CPU with 3.30GHz and a single NVIDIA GeForce GTX TITAN X GPUY==C-COT：16ECCV(CCOT)_Beyond Correlation Filters - Learning Continuous==

2016年8月29提交

VOT2016第一名

速度較慢，性能很好，思路可以借鑑

方法dataset幀率fps機器配置是否Deep LearningC-COTOTB-2015、Temple-Color1.05i5 6600 4.5GHz(網上別人測的)Y==ECO==：

2016年11月28提交

效果最好，性能最佳
|方法|dataset|幀率fps|機器配置|是否Deep Learning|
|—-|—-|—-|—-|—-|——|
|ECO|VOT2016|6 (不含特徵提取)|a 4-core Intel Core i7-6700 CPU at 3:4 GHz. |Y|
|||8 (含特徵提取)|a 4-core Intel Core i7-6700 CPU at 3:4 GHz. & a Tesla K40 GPU|Y|
|ECO-HC|UAV123|60(含特徵提取)|a 4-core Intel Core i7-6700 CPU at 3:4 GHz|N|
|ECO|TempleColor|——-| a gain of 0:8% in AUC than C-COT|—-|
|ECO-HC|OTB-2015|60fps(含特徵提取)|a 4-core Intel Core i7-6700 CPU at 3:4 GHz|N|

CFNet & DCFNet & SANet & DRLT (端到端CNN & RNN)==CFNet==：

2017年4月20日提交到arXiv CVPR

在保證一定效果的情況下，參數佔用空間較小100-600k

GPU下可達到實時

方法dataset幀率fps機器配置是否Deep LearningCFNetOTB-2013、OTB-50、OTB-10043-834.0GHz Intel i7 CPU and an NVIDIATitan X GPUY==DCFNet(17arXiv prePrint(DCFNet)_ Discriminant Correlation Filters Network for Visual Tracking)==

2017年4月13日發表到CVPR，作者foolwood，就是最開始提的那個會及時tracker的github博主，代碼開源了：https://github.com/foolwood/DCFNet

效果和速度較CFNet均有提升，且GPU比CFNet的GPU更低端

存儲空間更小，工程化的可能性比CFNet更大：The convolutional layers of our lightweight network (only
75KB) consist of conv1 from VGG [14] with all pooling layers removed and the output forced to 32 channels

在NUS-PRO、TempleColor128、UAV123訓練，在OTB-2013、OTB-2015、VOT-2015上測試

用到了RNN, 輸入crop到125x125

方法dataset幀率fps機器配置是否Deep LearningDCFNetOTB-2013、OTB-2015、VOT-201536.86-89.44Intel Xeon 2630 at 2.4GHz and a single NVIDIA GeForce GTX 1080 GPUY==SANet:17CVPR(SANet) Structure-Aware Network for Visual Tracking==

2017年5月1日發表CVPR

採用RNN+CNN的架構

可能是因為效果做的比MDNet還要好把，雖然也很耗時

方法dataset幀率fps機器配置是否Deep Learning
TC-128、OTB100、VOT201513.7 GHz Intel i7 Core and a NVIDIA GTX TITAN Z GPU
==DRLT:17arXiv prePrint(DRLT)_Deep Reinforcement Learning for Visual Object Tracking in Videos==

2017年1月30日提交到arXiv CVPR,4月10日修改

提出一種 convolutional recurrent neural network model, 可以學習到單幀圖像的空間表示 以及 多幀圖像之間的時序上的表示

端到端的進行訓練的 deep RL algorithm，模型完全是 off-line的

模型構成：CNN 特徵提取部分（YOLO）+RNN(LSTM) 歷史信息構建部分+DEEP-RL模塊（第一個用上RL）

有tensorflow源碼

在30 challenging and publicly available video sequences 和 8 個tracker比較

方法dataset幀率fps機器配置是否Deep LearningDRLT30 challenging and publicly available video sequences45NVIDIA GTX 1080 GPUYCA-CF & BACF （利用背景信息，框架性通用改進）==CA-CF:17CVPR(CA-CF)Context-Aware Correlation Filter Tracking==

2017年CVPR(oral)

出發點是對基於相關濾波的算法進行的框架上的改進，所有用相關濾波的算法都可以套用,犧牲fps，帶來顯著的性能提升，好文章，可以借鑑！

第二張圖是對視頻按照每個算法的真實速度進行降採樣後的跟蹤效果。可以看到用了CA進行改進後的staple效果是最好的

作者除了HCFT [2] （2015 ICCV），比較的都是比較傳統的算法，沒有與別的用了CNN特徵的算法進行比較

方法dataset幀率fps機器配置是否Deep LearningCA-CFOTB-100—-Intel Xeon CPU E5-2697 2.6GHz, 256GB RAM) using MATLAB—==BACF:17CVPR(BACF)_Learning Background-Aware Correlation Filters for Visual Tracking==

2017年3月14號發表到arXiv CVPR

擴大了循環矩陣採樣的區域（樣本數量增加），並且在每個樣本上裁剪出了有用的樣本區域（樣本質量變好）

均在CPU上運行，效果優於大多數傳統方法，平均幀率35.3；

效果比CCOT稍微好一點，但速度176倍

方法dataset幀率fps機器配置是否Deep LearningBACFOTB-50、OTB-100、TC129、60 challenging videos of  VOT-201535.3Intel Core i7 running at 2.40 GHzNACET & Deep-LK (優於C-COT or MDNet, 且CPU實時)==ACET:17arXiv prePrint(ACET)_Active Collaborative Ensemble Tracking==

2017年4月28提交到arXiv CVPR

測試數據集只有OTB-50,但Performance優於C-COT，且CPU實時。

方法dataset幀率fps機器配置是否Deep LearningACETOTB-5037.16P-IV PC at 3.5 GHz, with a Mathlab/C++ implementationN


p.s.
illumination and scale variations (IV, SV), in- and out-of-plane rotations (IPR, OPR), fast motion and motion blur (FM, MB),
deformations and low-resolution (DEF, LR), occlusion and
shear problem (OCC, OV), and background clutter (BC)

==Deep-LK:17arXiv prePrint(Deep-LK)_ for Efficient Adaptive Object Tracking==

2017年5月19提交到arXiv

用AlexNet提特徵

在25 challenging videos of the VOT14 上達到75fps(GPU)

在Nfs Video上優於MDNet，但速度提高30倍（CPU）到38倍（GPU）

對比的方法中，只有SRDCF和FCNT效果與MDNet持平，且二者fps差不多，約為MDNet的5倍

CPU下fps為100，只比GOTURN低55.3,但效果好10.4個點

方法dataset幀率fps機器配置是否Deep LearningDeep-LKVOT-2014、Nfs Video20.7(CPU),75-100(GPU)未指明YLMCF & Vision-based (速度提升，但性能提升不明顯CPU實時)==LMCF:17CVPR(LMCF)_Large Margin Object Tracking with Circulant Feature Maps==

2017年5.15發表到arXiv CVPR

相同機器下，CCOT 0.25fps，LMCF 10fps

性能略好於Staple,速度比SiamF和HCF比較，速度更快

方法dataset幀率fps機器配置是否Deep LearningLMCFOTB-2013、OTB-2015LMCF 80 & DeepLMCF 10LMCF with a PC with a 3.60 GHz CPU and DeepLMCF with a tesla k40 GPUY==Vision-based:17arXiv prePrint(NULL)_Vision-based Real-Time Aerial Object Localization and Tracking for UAV Sensing System==

2017年3月19日提交到arXiv CVPR,只測試了15個較難的數據集，而且只和15年之前的方法進行比較，

CPU速度達到141.3fps

方法dataset幀率fps機器配置是否Deep LearningVision-based選取了15個視頻141.3in C++ with OpenCV 3.0.0 on a PC with an Intel Xeon W3250 2.67 GHz CPU and 8 GB RAMN

相關焦點

  • 【綜述專欄】多目標跟蹤(MOT)入門
    為此，我們精選國內外優秀的綜述文章，開闢「綜述專欄」，敬請關注。地址：https://www.zhihu.com/people/longer-61-43最近做了一些多目標跟蹤方向的調研，因此把調研的結果以圖片加文字的形式展現出來，希望能幫助到入門這一領域的同學。也歡迎大家和我討論關於這一領域的任何問題。
  • 【專知薈萃18】目標跟蹤Object Tracking知識資料全集(入門/進階/論文/綜述/視頻/專家,附查看)
    今天專知為大家呈送第十八篇專知主題薈萃-目標跟蹤知識資料大全集薈萃 （入門/進階/綜述/視頻/代碼/專家等），請大家查看！歡迎大家分享轉發~入門學習 運動目標跟蹤系列（1-17）目標跟蹤學習筆記（2-4）[http://www.cnblogs.com/tornadomeet/archive/2012/03/18/2404817.html][http://www.cnblogs.com/tornadomeet/archive
  • 計算機視覺中,有哪些比較好的目標跟蹤算法?(下)
    相信很多來這裡的人和我第一次到這裡一樣，都是想找一種比較好的目標跟蹤算法，或者想對目標跟蹤這個領域有比較深入的了解，雖然這個問題是經典目標跟蹤算法，但事實上，可能我們並不需要那些曾經輝煌但已被拍在沙灘上的tracker(目標跟蹤算法)，而是那些即將成為經典的，或者就目前來說最好用、速度和性能都看的過去tracker。
  • 挑戰目標跟蹤算法極限,商湯開源SiamRPN系列算法解讀
    商湯科技智能視頻團隊首次開源其目標跟蹤研究平臺 PySOT。PySOT 包含了商湯科技 SiamRPN 系列算法，以及剛被 CVPR2019 收錄為 Oral 的 SiamRPN++。此篇文章將解讀目標跟蹤最強算法 SiamRPN 系列。
  • 計算機視覺中,有哪些比較好的目標跟蹤算法?(上)
    相信很多來這裡的人和我第一次到這裡一樣，都是想找一種比較好的目標跟蹤算法，或者想對目標跟蹤這個領域有比較深入的了解，雖然這個問題是經典目標跟蹤算法，但事實上，可能我們並不需要那些曾經輝煌但已被拍在沙灘上的tracker(目標跟蹤算法)，而是那些即將成為經典的，或者就目前來說最好用、速度和性能都看的過去tracker。
  • 帶你入門多目標跟蹤(三)匈牙利算法&KM算法
    （Hungarian Algorithm）與KM算法（Kuhn-Munkres Algorithm）是做多目標跟蹤的小夥伴很容易在論文中見到的兩種算法。他們都是用來解決多目標跟蹤中的數據關聯問題。對理論沒有興趣的小夥伴可以先跳過本文，進行下一篇的學習，把匈牙利算法這些先當作一個黑箱來用，等需要了再回過頭來學習理論。但個人建議，至少要明白這些算法的目的與大致流程。如果大家用這兩種算法的名字在搜尋引擎上搜索，一定會首先看到這個名詞：二分圖（二部圖）。匈牙利算法與KM算法都是為了求解二分圖的最大匹配問題。
  • 目標跟蹤最強算法開源:商湯SiamRPN系列解讀
    雷鋒網(公眾號：雷鋒網) AI 科技評論消息，日前，商湯科技智能視頻團隊首次開源其目標跟蹤研究平臺 PySOT。PySOT 包含了商湯科技 SiamRPN 系列算法，以及剛被 CVPR2019 收錄為 Oral 的 SiamRPN++。此篇文章將獨家解讀目標跟蹤最強算法 SiamRPN 系列。
  • 計算機視覺中,究竟有哪些好用的目標跟蹤算法(上)
    相信很多來到這裡的人和我第一次到這裡一樣，都是想找一種比較好的目標跟蹤算法，或者想對目標跟蹤這個領域有比較深入的了解，雖然這個問題是經典目標跟蹤算法，但事實上，可能我們並不需要那些曾經輝煌但已被拍在沙灘上的tracker(目標跟蹤算法)，而是那些即將成為經典的，或者就目前來說最好用、速度和性能都看的過去的tracker。
  • 深度長文:計算機視覺中,目前有哪些經典的目標跟蹤算法?
    第一部分：目標跟蹤速覽先跟幾個SOTA的tracker混個臉熟，大概了解一下目標跟蹤這個方向都有些什麼。一切要從2013年的那個資料庫說起。。(這麼做的理論依據是：一篇論文，在它之前的工作可以看它的引用文獻，之後的工作可以看誰引用了它；雖然引用量並不能說明什麼，但好的方法大家基本都會引用的(表示尊重和認可)；之後還可以通過限定時間來查看某段時間的相關論文，如2016-2017就能找到最新的論文了，至於論文質量需要仔細甄別；其他方向的重要論文也可以這麼用，順藤摸瓜，然後你就知道大牛是哪幾位，接著關注跟蹤一下他們的工作 )這樣我們就大致知道目標跟蹤領域的最新進展應該就是相關濾波無疑了
  • 如何用自動駕駛系統工具箱設計和驗證多目標跟蹤算法 | 硬創公開課
    ：2017 年 6 月 28 日至 6 月 29 日，「第四屆中國智能網聯汽車技術年會「（CICV 2017）將於上海舉辦。傳感器融合與多目標跟蹤的算法，其實是處於感知算法和控制算法中間的部分，對於控制工程師來說，我們需要對感知的傳感器信息進行處理，得到用於控制的輸入信息。這就是我們的工作。
  • 基於深度學習的多目標跟蹤:從UMA Tracker出發談談SOT類MOT算法
    ©PaperWeekly 原創 · 作者｜黃飄學校｜華中科技大學碩士生研究方向｜多目標跟蹤之前的文章中我們介紹了聯合檢測和跟蹤的多目標跟蹤框架，這類框架最大優勢在於可以利用優秀的檢測器平衡不同觀測輸入的質量。
  • 最強目標跟蹤算法SiamRPN++開源了,商湯出品
    經年累月，團隊死磕孿生網絡，用這類算法來做目標跟蹤。在這之中，SiamRPN赫然挺立，中選了CVPR 2018的Spotlight。SiamRPN：把檢測算法引入跟蹤這隻AI的誕生，是因為團隊發現：雖然孿生網絡能對目標快速定位，但不能對目標框作出調整，也就不能調節目標的形狀。可目標跟蹤並不是只要定一個點，目標所在的範圍也同樣重要。
  • 深度學習第24講:計算機視覺之目標檢測算法綜述
    在正式的學習各類目標檢測算法之前，本節將首先對影響目標檢測算法發展歷史的主要算法進行一個綜述，以期對後面的內容起到一個提綱挈領的作用。       在 2012 年深度學習正式介入計算機視覺目標檢測任務之前，傳統的目標檢測算法一直是以滑動窗口卷積等較為傳統的方式進行區域選擇、特徵提取和分類回歸等步驟，例如在深度學習興起之前目標檢測領域較為優秀的可變形的組件模型（DPM）方法等。
  • 多目標跟蹤:SORT和Deep SORT
    >SORT全稱為Simple Online And Realtime Tracking, 對於現在的多目標跟蹤，更多依賴的是其檢測性能的好壞，也就是說通過改變檢測器可以提高18.9%，本篇SORT算法儘管只是把普通的算法如卡爾曼濾波（Kalman Filter）和匈牙利算法(Hungarian algorithm)結合到一起，卻可以匹配2016年的SOTA算法，且速度可以達到
  • 華為MIT韓松論文;DeepMind開源OpenSpiel;目標檢測算法全面綜述
    其他還有微眾銀行楊強等提出的內容推薦新模型、對BERT的反思、GAN在時尚領域的研究，以及目標檢測算法綜述等。做算法的讀者朋友可以參考，將算法的研究成果和現實場景結合起來。論文提出的推薦算法，有可能給現有的基於協同過濾的算法帶來更好的性能提升。
  • 基於協方差矩陣的目標特徵提取與跟蹤
    摘要: 如何在較複雜環境下對視頻中的運動目標進行有效跟蹤，是目前研究的熱點問題。本文提出了基於協方差矩陣建模的改進跟蹤中心點的確定方法。該方法在確定融合了LBP紋理特徵的目標特徵向量基礎上，建立目標區域協方差矩陣作為模板矩陣，並從下一幀中提取協方差矩陣，與模板矩陣進行矩陣相似性度量，形成相似度矩陣，使用閾值進行矩陣元素的選擇，並計算剩餘元素的權值，再按重心公式確定跟蹤中心點。實驗結果表明：在較複雜環境中，可以對目標的旋轉、遮擋和形狀變化進行具有更高準確度的跟蹤，驗證了該方法的有效性。
  • 深度學習在目標跟蹤中的應用
    過去幾十年以來，目標跟蹤的研究取得了長足的發展，尤其是各種機器學習算法被引入以來，目標跟蹤算法呈現百花齊放的態勢。2013年以來，深度學習方法開始在目標跟蹤領域展露頭腳，並逐漸在性能上超越傳統方法，取得巨大的突破。本文首先簡要介紹主流的傳統目標跟蹤方法，之後對基於深度學習的目標跟蹤算法進行介紹，最後對深度學習在目標跟蹤領域的應用進行總結和展望。
  • 論文盤點:基於圖卷積GNN的多目標跟蹤算法解析
    ©PaperWeekly 原創 · 作者｜黃飄學校｜華中科技大學碩士研究方向｜多目標跟蹤隨著這兩年 GNN
  • 融合視頻目標檢測與單目標、多目標跟蹤,港中文開源視頻感知平臺
    首個開源一體化視頻目標感知平臺對視頻內的目標進行感知識別一直是學界、業界都非常關心的問題。這個問題在學界常被細分為不同的子問題，比如視頻目標檢測、多目標跟蹤與單目標跟蹤。具體來說，視頻目標檢測只需對視頻內的每一幀進行檢測，不要求對不同幀中的同一目標進行關聯。多目標檢測在完成視頻目標檢測的基礎上，更加側重於對視頻內的同一目標進行關聯。
  • 多目標跟蹤論文筆記:Tracking without bells and whistles
    這裡所使用的目標檢測器不需要任何跟蹤特定的訓練或者優化，只依賴於目標檢測算法。它能夠以相對簡單的方式遷移到不同的跟蹤數據集或者場景中。跟蹤擴展Tracktor並不是真的重新檢測出下一幀相同的那個人，因此這裡提供了兩種簡單的擴展方法來確認相同的人。