CVPR 2020 | 商湯提出 Anchor-free 目標檢測新網絡

2021-01-11 網易

　　

　　本文介紹的是CVPR2020論文《CentripetalNet: Pursuing High-quality Keypoint Pairs for Object Detection》，作者來自商湯 。

　　作者 | 商 湯

　　編輯 | 叢 末

　　

　　論文地址：https://arxiv.org/pdf/2003.09119.pdf

　　代碼地址：https://github.com/KiveeDong/CentripetalNet

　　1

　　導讀

　　CVPR 2020上，商湯移動智能事業群-3DAR-身份認證與視頻感知團隊提出了基於向心偏移的anchor-free目標檢測網絡centripetalnet，為基於關鍵點的目標檢測方法研究帶來了新思路。Centripetalnet在大型公開數據集MS-COCO上達到了目前anchor-free檢測模型中的最優效果。

　　2

　　動機

　　1、現有的基於關鍵點的目標檢測網絡（如CornerNet、CenterNet、ExtremeNet等）通過使用關聯嵌入向量進行物體關鍵點的匹配，然而關聯嵌入向量具有訓練難度大且容易混淆同類物體的缺點，這會造成許多錯誤的關鍵點匹配從而導致錯誤的檢測結果。因此本文提出使用關鍵點的向心偏移（centripetal shift）來進行匹配，其背後的思想是同一個物體的不同關鍵點應該對應同一個物體中心點。從下圖可以直觀的看到利用向心偏移匹配相對於關聯嵌入向量在避免錯誤匹配方面的優勢。

　　

　　2、我們採用物體邊界框的兩個角點作為關鍵點，然而角點位置缺乏物體信息，現有方法使用角點池化的方法將物體邊界信息聚合到角點位置，然而我們發現角點位置依然缺乏物體內部信息，而這些物體內部特徵在角點位置形成了如下圖的「十字星（cross-star）」，因此我們設計了十字星可變形卷積（cross-star deformableconvolution），成功地提取了這些物體內部信息，從而優化了角點位置的物體特徵，提高了模型性能。

　　

　　3

　　模型設計

　　CetripetalNet可以分為4個部分：特徵提取網絡，角點檢測與特徵調節，向心偏移模塊，實例分割模塊，整體架構如下圖所示。

　　

　　1、特徵提取網絡：

　　CentripetalNet和CenterNet、CornerNet一樣，採用Hourglass-104和Hourglass-52作為特徵提取網絡。

　　2、角點檢測和特徵調節模塊

　　左上角點和右下角點的這部分模塊是獨立的。角點檢測採用關鍵點預測的方法，用角點的ground truth構建要回歸的角點熱力圖並加以高斯化，讓網絡輸出回歸該熱力圖從而學習預測角點位置；特徵調節即是十字星可變形卷積，通過利用角點池化之後的特徵預測十字星幾何信息（guiding shift），然後從十字星幾何信息中學習可變形卷積的採樣點偏移。

　　3、向心偏移模塊

　　首先使用經過十字星可變形卷積調節之後的特徵預測每個角點的向心偏移，接著結合角點位置，完成角點的匹配，得到檢測到的物體邊界框。

　　4、實例分割模塊

　　使用特徵提取網絡得到的物體特徵圖和3得到的物體檢測框作為輸入，利用RoIAlign提取每個感興趣區域的特徵，然後利用多個卷積和反卷積層預測物體掩膜。

　　4

　　實驗分析

　　1、在COCO test-dev上，CentripetalNet達到了anchor-free模型中的最優檢測效果，同時在實例分割方面的表現也具有一定競爭力。

　　

　　

　　2、向心偏移相對於關聯嵌入向量的優勢

　　為了比較向心偏移和關聯嵌入向量的性能，我們使用特徵提取網絡為Hourglass-52的CornerNet作為基準模型，然後將關聯嵌入向量直接替換為向心偏移進行比較。為了公平起見，我們還將關聯嵌入的向量增加為2維，這和向心偏移的維度一致，從下表可以看到，基於向心偏移的方法性能明顯更優。

　　3、十字星可變形卷積的有效性

　　我們比較了十字星可變形卷積和其他特徵調節方法的性能差異（包括普通可變形卷積以及RoIConv）

　　我們還比較了幾種特徵調節方法的採樣點位置，發現只有十字星可變形卷積可以很好地採樣到十字星上的特徵信息。

　　4、和現有算法的可視化比較

　　下圖三行從上至下分別是CornerNet，CenterNet和CentripetalNet

　　

　　5、實例分割效果可視化

　　

　　CVPR 2020 系列論文解讀

　　AI 科技評論系列直播

　　1、ACL 2020 - 復旦大學系列解讀

　　直播主題：不同粒度的抽取式文本摘要系統

　　主講人：王丹青、鐘鳴

　　回放連結：http://mooc.yanxishe.com/open/course/804（回放時間：4月26日下午10點）

　　直播主題：結合詞典的中文命名實體識別【ACL 2020 - 復旦大學系列解讀之（二）】

　　主講人：馬若恬, 李孝男

　　直播時間：4月 26 日，（周日晚） 20：00整。

　　直播主題：ACL 2020 | 基於對抗樣本的依存句法模型魯棒性分析

　　【ACL 2020 - 復旦大學系列解讀之（三）】

　　主講人：曾捷航

　　直播時間：4月 27 日，（周一晚） 20：00整。

　　2、ICLR 2020 系列直播

　　直播主題：ICLR 2020丨Action Semantics Network: Considering the Effects of Actions in Multiagent Systems

　　主講人：王維壎

　　回放連結：http://mooc.yanxishe.com/open/course/793

　　直播主題：ICLR 2020丨通過負採樣從專家數據中學習自我糾正的策略和價值函數

　　主講人：羅雨屏

　　回放連結：http://mooc.yanxishe.com/open/course/802

　　直播主題：ICLR 2020丨分段線性激活函數塑造了神經網絡損失曲面

　　主講人：何鳳翔

　　回放連結：http://mooc.yanxishe.com/open/course/801

特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺「網易號」用戶上傳並發布，本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關焦點

  • 目標檢測:Anchor-Free時代
    基於關鍵點3.CornerNet兩點貢獻：1.通過檢測bbox的一對角點來檢測出目標。2.提出corner pooling，來更好的定位bbox的角點。一個anchor-free的分支在每個特徵金字塔層構建，獨立於anchor-based的分支。和anchor-based分支相似，anchor-free分支由分類子網絡和回歸子網絡。
  • 港中大-商湯聯合實驗室等提出:Guided Anchoring: 物體檢測器也能自己學 Anchor
    ，出了很多paper（難道為了趕頂會ddl），CVer也立即跟進報導（點擊可訪問）：本文介紹一篇同樣很棒的paper，由香港中文大學-商湯聯合實驗室提出，後面有原作者的論文解讀。這篇 paper 的方法用在了 COCO Challenge 2018 檢測任務的冠軍方法中，在極高的 baseline 上漲了1個點。最近公開在 ArXiv 上，歡迎大家提出意見。概述我們提出了一種新的 anchor 生成方法 —— Guided Anchoring，即通過圖像特徵來指導 anchor 的生成。
  • 做目標檢測,這6篇就夠了:CVPR 2020目標檢測論文盤點
    CVPR 2020 會議上，有哪些目標檢測論文值得關注？目標檢測是計算機視覺中的經典問題之一。憑藉大量可用數據、更快的 GPU 和更好的算法，現在我們可以輕鬆訓練計算機以高精度檢測出圖像中的多個對象。前不久結束的 CVPR 2020 會議在推動目標檢測領域發展方面做出了一些貢獻，本文就為大家推薦其中 6 篇有價值的目標檢測論文。
  • CVPR2020 | HAMBox 火腿框人臉檢測 真香
    連結：https://arxiv.org/abs/1912.09231本文總結了CVPR2020百度出品的人臉檢測論文HAMBox，該文章發現了一種有趣的現象，即負樣本anchor相比正樣本anchor而言，居然也有不錯的回歸能力
  • CVPR 2020 目標檢測論文精選
    字幕組雙語原文：CVPR 2020 目標檢測論文精選英語原文：CVPR 2020: The Top Object Detection Papers翻譯：雷鋒字幕組（李珺毅、沫年惜雪）一、基於在點雲上的3D目標檢測的分層圖形網絡原文標題：A Hierarchical Graph Network for 3D Object
  • 「港中文開源」「CVPR2020」3DSSD 性能SOTA,比PointRCNN快兩倍
    3D目標檢測器，但是基於Point的single-stage檢測算法仍然有很大的優化空間。本文首先提出了一種輕量級和高效的基於Point的3D single-stage 目標檢測器，並命名為3DSSD，該算法很好的平衡了精度和效率上的取捨。傳統的基於點的算法為了更好的執行效果，都會存在上採樣和細化網絡層結構，而本文算法為了降低計算量去掉了這種結構。本文創新性的提出了一種融合採樣策略可以檢測到少量的具有代表性的點用於實現降採樣。
  • CVPR 2018 | 商湯科技Oral論文詳解:BlockQNN自動網絡設計方法
    上周，商湯科技宣布以44篇論文入選CVPR 2018，吸引了諸多朋友點讚。接下來幾周，我們將陸續發布商湯科技入選CVPR 2018的重點論文解讀報導，歡迎大家關注。以下是在大規模分布式訓練領域，商湯科技發表的一篇重磅大會口頭報告（Oral）論文，提出基於分布式訓練的深度增強學習BlockQNN算法，自動設計神經網絡結構。本文由商湯科技實習研究員鍾釗在商湯科技研究院副院長閆俊傑和研究經理武偉指導下完成。
  • CVPR 2020商湯斬獲3冠!62篇論文入選,算法工廠憑什麼領跑行業?
    並且，又拿下了 CVPR 2020 ActivityNet 時空動作定位賽道、動作分類賽道，以及 CVPR 2020 NTIRE 競賽等3 項世界冠軍。至此，成立 6 年以來，商湯已經在各種重要賽事中，斬獲了 60+ 個世界第一。那麼，問題來了，商湯憑什麼？
  • Guided Anchoring: 物體檢測器也能自己學 Anchor
    前言進入圖片物體檢測這個坑也有一年出頭了，而且至少短期內還將繼續待在坑裡而且還拉了同夥入坑。值此新（ji）春（xu）佳（ban）節（zhuan）之際，打算介紹一些做過的工作，寫一下對這個領域的理解，另外有空的話也會講講 mmdetection 的設計和一些實現。
  • MatrixNets:可替代FPN,用於目標檢測的可感知比例和長寬比的網絡結構
    首先，作者將xNets應用於基於錨(anchor)的目標檢測，用於預測目標中心並回歸左上角和右下角。其次，作者根據預測的左上角和右下角，將MatrixNets用於基於角點（corner）的目標檢測。每個角點都會預測目標的中心位置。作者還通過將嵌入層替換為中心回歸來增強基於角點的檢測。
  • CVPR 2017國內外亮點論文匯集:史上最盛大會議,華人佔據半壁江山
    而 NAN 網絡可以對視頻或目標對象進行高度緊湊（highly-compact）的表徵（128-d）；利用注意力機制（attention mechanism）進行學習型聚合（learning-based aggregation）；這種網絡在三個關於人臉視頻的基準中都有著一流的表現。作者認為這種聚合網絡是簡單並且通用的，今後也會用於其它一些視頻識別的任務當中。
  • 商湯科技入選 CVPR 2018 的 44 篇論文,都研究什麼?
    本文關注面向自動駕駛場景的視頻實時語義分割問題，雖然近年來圖像語義分割取得很大的進展，但是對於面向視頻的語義分割任務仍然存在挑戰。本文提出了一個信息蒸餾與驅逐網絡的框架，只使用身份 ID 作為監督信息，學習到了一個同時具有極強信息區分度且包含全局信息的稠密凸特徵空間。在 LFW、LFWA 和 CelebA 等數據集上的實驗表明，人臉在該特徵空間下的投影具有極高的身份、屬性識別能力，且該空間內的任意一個點均具有較強的身份和屬性語義，並可生成具有該語義的人臉圖像。
  • 輕鬆識別小目標的物體檢測算法揭秘
    在眾多模型使用場景中，小目標物體的檢測比較常見，一般的目標檢測算法往往效果不理想；因此，EasyDL團隊針對小目標物體的檢測進行了專項優化，並取得了令人矚目的效果提升。自AlexNet在2012年ImageNet比賽上展露頭角以來，計算機視覺各個方向和神經網絡的聯繫變得越發緊密，物體檢測也不例外。
  • 基於機器視覺的典型多目標追蹤算法應用實踐
    本文復現時，上面的幾種網絡都有嘗試，原始碼使用了商湯的mmdetection框架下的cascade-rcnn，但項目考慮時間和精度，最終使用了Yolov4[3]作為檢測來源。比起之前兩步（先檢測後Re-ID）的追蹤算法，FairMot完成檢測與Re-ID共享網絡參數，減少算法推理時間，速度大幅度提升。b. 比起之前單步的追蹤算法JDE[12]，存在的一些不足，如：一個物體可能被多個anchor負責並進行檢測，或實際物體的中心可能與負責對該物體進行檢測的anchor中心有偏差，都會導致id頻繁變換。
  • 1.8M超輕量目標檢測模型NanoDet,比YOLO快,上線兩天Star量超200
    機器之心報導項目作者：RangiLyu如何把 anchor-free 模型移植到移動端或嵌入式設備？目前，深度學習目標檢測方法主要分為兩大類，分別是兩階段式和單階段式目標檢測算法。兩階段式目標檢測框架首先生成候選區域，然後將其分類成不同的目標類別，代表模型有 R-CNN、Fast R-CNN 等；單階段式目標檢測框架將目標檢測任務視為一個統一的端到端回歸問題，代表模型有 MultiBox、YOLO、SSD 等。這類框架通常結構更簡單，檢測速度也更快。
  • 一騎絕塵 商湯科技 44 篇論文入選 CVPR 2018
    本文提出一種基於端到端深度學習框架的高性能單目標跟蹤算法。現有的單目標跟蹤算法通常較難兼顧性能和速度，僅能在某一指標佔優。本文利用孿生（Siamese）網絡和區域候選網絡（Region Proposal Network），構建了一種高速高精度的單目標跟蹤算法。兩個子網絡通過卷積操作升維，統一在一個端到端的深度神經網絡框架裡。訓練過程中，算法可以利用擁有密集標註（VID）和稀疏標註（YoutubeBB）的數據集進行訓練。
  • 一騎絕塵 商湯科技44篇論文入選CVPR 2018
    本文提出一種基於端到端深度學習框架的高性能單目標跟蹤算法。現有的單目標跟蹤算法通常較難兼顧性能和速度，僅能在某一指標佔優。本文利用孿生（Siamese）網絡和區域候選網絡（Region Proposal Network），構建了一種高速高精度的單目標跟蹤算法。兩個子網絡通過卷積操作升維，統一在一個端到端的深度神經網絡框架裡。訓練過程中，算法可以利用擁有密集標註（VID）和稀疏標註（YoutubeBB）的數據集進行訓練。
  • 滴普技術薈:基於機器視覺的典型多目標追蹤算法應用實踐
    Detection:常用的檢測網絡，如faster rcnn、yolov4、ssd等，可根據實際項目對精度或時間的要求挑選。本文復現時，上面的幾種網絡都有嘗試，原始碼使用了商湯的mmdetection框架下的cascade-rcnn，但項目考慮時間和精度，最終使用了yolov4[3]作為檢測來源。
  • 詳解目標檢測Faster R-CNN
    基於深度學習的目標檢測中，可能最難的問題就是生成長度不定(variable-length)的邊界框列表。在構建深度神經網絡時，最後的網絡輸出一般是固定尺寸的張量輸出(採用RNN的除外)。例如，在圖片分類中，網絡輸出是 (N,) 的張量，N 是類別標籤數，張量的每個位置的標量值表示圖片是類別i的概率值.
  • 解讀目標檢測新範式:Segmentations is All You Need
    （RPN）的現有模型在目標檢測任務中得到了廣泛認可，NMS 是該模型的基礎，但這種模型也存在一定缺陷，如在複雜遮擋情況下召回率很低。為了解決這一問題，程澤華等研究者提出使用弱監督分割多模態注釋，在沒有 NMS 的情況下實現了高度穩健的目標檢測性能。作者利用注釋質量較差的邊界框在困難環境中實現穩健的目標檢測性能，避免了與 anchor 框或 NMS 相關的所有超參數。他們提出的模型超越了之前基於 anchor 的一步和多步檢測器，而且簡單得多。該模型在準確性和召回率方面都達到了當前最佳水平。