「少即是多」的目標檢測算法Sparse R-CNN

2021-01-10 程式設計師觀察

近幾年來，目標檢測算法發展迅速，許多新出現的目標檢測範式有著很強的相同之處，如Anchor-Free的方法中不依賴於Anchor的目標檢測範式：CenterNet兼有結構簡單和高的準確率；FCOS創新性目標檢測思路。

這些算法潮超越了傳統的Anchor思維，其中最具代表性的就是這篇論文《Sparse R-CNN: End-to-End Object Detection with Learnable Proposals》提出的SparseRCNN避免了大量關於先驗框的設計以及先驗框與真實框多對一的映射。

不僅實現Anchor free，而且後處理不需要NMS可直接得到目標框！SparseRCNN精度高，速度快！下面看看SparseRCNN是如果實現「少即是多」

論文的傳送門：https://arxiv.org/pdf/2011.12450.pdf

1. 大量先驗框為什麼不好？

目前目標檢測的算法都是基於大量的先驗信息但密集的先驗存在很多問題：會檢測出相似的結果導致需要過濾步驟，即後處理（比如NMS）。存在預測和標籤多對一關係先驗信息對檢測結果影響大，其中包括anchors的數量和大小，參照點的數量、proposal生成的數量由於每個 目標查詢與圖像全局信息的相互影響，訓練時收斂速度慢，整體流程也比較複雜。2.SparseRCNN

文章中希望提出的是sparse方法，獲取 learned proposals。

Sparse RCNN

Learnable porposal box是物體潛在位置的統計概率,訓練的時候可以更新參數;Learnable proposal feature表示更多的物體信息。Sparse R-CNN 總體結構

SparseRCNN由骨幹網絡、動態檢測頭和兩個預測層組成。整體模型有三個輸入：圖像，一組建議區域和建議特徵。後兩者是可學習的，可以通過網絡中的其他參數優化。Dynamic instance interactive head

通過 proposal boxes以及ROI方法獲取每個物體的特徵，然後與 proposal feature 結合得到最終預測結果。Head的數量與learnable box的數量相同，即head/learnable proposal box/learnable proposal feature一一對應。3.方法效果

與Faster RCNN / RetinaNet和DETR的對
收斂性測試

SparseRCNN使用一組固定的稀疏建議框代替經典的區域生成網絡R P N，後續使用動態檢測頭直接分類和回歸每個建議區域，且不需要非極大值抑制等後處理。文中比較新穎的觀點是係數建議框的生成以及建議框同稀疏特徵的一一對應，避免了大量冗餘的操作。作者試圖做到目標檢測不在於多，而在於少又精，實驗結果顯示有時「少即是多」！

相關焦點

  • 在多目標識別方面,maskr-cnn已經取得了一些進展
    一些需要和矽材料打交道的領域，如計算機視覺、硬體加工及產品開發等，越來越多人去學習微電子技術。根據美國貝爾實驗室(belllaboratory)2018年5月19日最新出版的《新創新指南》(newentrepreneursguide)，人工智慧能力的發展與突破，有望提高生產性能和生產效率。
  • 經典目標檢測方法Faster R-CNN和Mask R-CNN|基於PaddlePaddle深度...
    機器視覺領域的核心問題之一就是目標檢測 (object detection)，它的任務是找出圖像當中所有感興趣的目標 (物體)，確定其位置和大小。作為經典的目標檢測框架 Faster R-CNN，雖然是 2015 年的論文，但是它至今仍然是許多目標檢測算法的基礎，這在飛速發展的深度學習領域十分難得。
  • 詳解目標檢測Faster R-CNN
    目標檢測的一般結構： 背景R-CNN - 是 Faster R-CNN 的啟發版本.即，數學地表述，如果圖片尺寸 w×h，特徵圖的尺寸則是 w/r×h/r. 其中，r 是下採樣率(subsampling ratio). 如果在卷積特徵圖空間位置定義 anchor，則最終的圖片會是由 r 像素劃分的 anchors 集. 在 VGG 中，r=16.
  • 從R-CNN到YOLO,一文帶你了解目標檢測模型(附論文下載)
    大數據文摘作品編譯：Yanruo、小魚這是一份詳細介紹了目標檢測的相關經典論文、學習筆記、和代碼示例的清單，想要入坑目標檢測的同學可以收藏了！在大數據文摘後臺回復「目標檢測」可打包下載全部論文~R-CNNR-CNN是2014年出現的。
  • 深度| 像玩樂高一樣拆解Faster R-CNN:詳解目標檢測的實現過程
    Luminoth 實現：https://github.com/tryolabs/luminoth/tree/master/luminoth/models/fasterrcnn 在閱讀本文之前，若想了解 R-CNN 網絡家族的發展，可以參看機器之心的文章： 深度
  • Facebook 發布 Detectron2:基於 PyTorch 的新一代目標檢測工具
    雷鋒網 AI 開發者按：Detectron 是 FAIR 在 2018 年初公開的目標檢測平臺，包含了大量業內最具代表性的目標檢測、圖像分割、關鍵點檢測算法，該框架主要基於 python 和 caffe2 實現，開源項目已獲得了超 2.2w 的星標數。
  • 港中文開源視頻動作分析庫MMAction,目標檢測庫算法大更新
    機器之心報導參與：李亞洲、杜偉昨日，香港中文大學多媒體實驗室（MMLab）OpenMMLab 發布動作識別和檢測庫 MMAction，同時也對去年發布的目標檢測工具箱 mmdetection 進行了升級，提供了一大批新的算法實現。
  • .| 深度學習理論與實戰:提高篇(14)——​Mask R-CNN代碼簡介
    > 讀取圖片並且進行分割： # 隨機加載一張圖片 file_names = next(os.walk(IMAGE_DIR))[2]image = skimage.io.imread(os.path.join(IMAGE_DIR, random.choice(file_names)))# 進行目標檢測和分割
  • ILSVRC2016目標檢測任務回顧——視頻目標檢測(VID)
    CUVideo, NUIST, MCG-ICT-CAS以及ITLab-Inha四支參賽隊伍都使用了跟蹤算法進一步提高視頻目標檢測的召回率。使用跟蹤算法獲取目標序列基本流程如下：得到的跟蹤軌跡既可以用來提高目標召回率，也可以作為長序列上下文信息對結果進行修正。
  • 基於機器視覺的典型多目標追蹤算法應用實踐
    視頻目標追蹤算法是機器視覺中一項很實用重要的算法，視頻目標追蹤算法應用場景很廣，比如智能監控、機器人視覺系統、虛擬實境（人體跟蹤）、醫學診斷（細胞狀態跟蹤）等。本文由滴普科技2048團隊AI產品部算法工程師朱曉麗介紹基於機器視覺的典型多目標追蹤算法應用實踐。
  • 滴普技術薈:基於機器視覺的典型多目標追蹤算法應用實踐
    視頻目標追蹤算法是機器視覺中一項很實用重要的算法，視頻目標追蹤算法應用場景很廣，比如智能監控、機器人視覺系統、虛擬實境（人體跟蹤）、醫學診斷（細胞狀態跟蹤）等。本文由滴普科技2048團隊AI產品部算法工程師朱曉麗介紹基於機器視覺的典型多目標追蹤算法應用實踐。
  • 輕鬆識別小目標的物體檢測算法揭秘
    在眾多模型使用場景中，小目標物體的檢測比較常見，一般的目標檢測算法往往效果不理想；因此，EasyDL團隊針對小目標物體的檢測進行了專項優化，並取得了令人矚目的效果提升。自AlexNet在2012年ImageNet比賽上展露頭角以來，計算機視覺各個方向和神經網絡的聯繫變得越發緊密，物體檢測也不例外。
  • OpenMMLab 第二版發布:吸引業界「目光」的史上最完整的目標檢測...
    其初衷是為了在計算機視覺的一些重要方向建立統一而開放的代碼庫，並不斷把新的算法沉澱其中。在過去的半年多時間，這些代碼庫已經產生了重要影響，越來越多的 MMLab 以外的研究團隊開始把 MMDetection 作為實現新的目標檢測算法的基礎，並不斷將其新算法回饋到 MMDetection 中。
  • 大盤點|性能最強的目標檢測算法
    本文便對mAP最高的目標檢測算法進行了盤點。趁最近目標檢測（Object Detection）方向的論文更新較少，趕緊做個"最強目標檢測算法"大盤點。要知道衡量目標檢測最重要的兩個性能就是 精度和速度，特指mAP 和 FPS。
  • 經典解讀 | Cascade R-CNN詳細解讀
    連結 | https://zhuanlan.zhihu.com/p/42553957源碼連結：https://github.com/zhaoweicai/cascade-rcnn從文章的題目上我們就可以看出來這篇文章目標是提高檢測質量，希望能獲得更精確的檢測結果。文章提出的cascade結構的效果是驚豔的，幾乎對於任意的R-CNN（Faster rcnn，FPN，R-FCN等）都可以帶來2到4個點的AP提升！！！而且實現十分簡單，已使用Pytorch在Pascal VOC上復現論文。此外，本篇文章的實驗講解部分對於理解R-CNN網絡有很大的幫助，建議詳細閱讀。   0.
  • 基於卷積神經網絡的目標檢測算法簡介
    什麼是目標檢測？目標檢測的主要任務是從圖像中定位感興趣的目標，需要準確判斷每個目標的具體類別，並給出每個目標的邊界框。2. 實現目標檢測需要哪些步驟？目標檢測算法的研究難點在哪？主要是兩個方面。第一，特徵提取，即如何提高特徵的表達能力和抗形變能力。第二，特徵分類，即如何提高分類器的準確度和速度。3. 為什麼說使用設計的特徵存在缺點？
  • 情感目標抽取 (ATE) 算法 DE-CNN
    情感目標 (Aspect) 抽取是文本情感分析中的一個重要任務，主要從評論句子中找出用戶具體評論的對象或特性。在之前的文章中介紹了兩種情感目標抽取的算法 CMLA 和 HAST，這兩種算法結構比較複雜。
  • 整合全部頂尖目標檢測算法:FAIR開源Detectron
    昨天，Facebook AI 研究院（FAIR）開源了 Detectron，業內最佳水平的目標檢測平臺。Detectron 目前包含以下目標檢測算法的實現：Mask R-CNN (https://arxiv.org/abs/1703.06870)—Marr Prize at ICCV 2017RetinaNet (https
  • 潮科技行業入門指南 | 深度學習理論與實戰:提高篇(14)——Mask R...
    ># 隨機加載一張圖片 file_names = next(os.walk(IMAGE_DIR))[2]image = skimage.io.imread(os.path.join(IMAGE_DIR, random.choice(file_names)))# 進行目標檢測和分割