Fast Point R-CNN | 一個跟Point R-CNN和Fast R-CNN都沒啥關係的點雲目標檢測網絡

2021-02-15 點雲樂課堂

 

【導讀】這是一篇來自ICCV2019的論文，由港中文的賈佳亞教授實驗室完成。雖然名字很接近，但是Fast Point R-CNN不僅跟Fast R-CNN沒有任何關係，它跟Point R-CNN也沒太大關係，找前景點，做精細回歸思想相似。三者唯一的相似點就是它們三個都是two-stage網絡。

如果要強行歸類的話，Fast Point R-CNN應該算是VoxelNet一派的。這一點從網絡結構圖中可以看出。網絡的第一階段叫做VoxelRPN，類似於VoxelNet/SECOND的網絡結構，用來對體素化的點雲進行處理，網絡由3D卷積層+2D的2D的RPN構成；網絡的第二階段是RefinerNet，將原始點雲加入進來，並融入注意力機制，提高檢測效果。從這個角度來看，這個網絡應該叫Refiner-VoxelNet或許更為貼切（我胡說的）。

下面仔細看下網絡結構，首先是第一階段的VoxelRPN：網絡由四個BLOCK構成，第一個BLOCK由3D卷積核構成，用來對體素進行處理，逐漸把Z維度上降低到1，也就成了2D特徵圖了。後面三個BLOCK用來對這個2D特徵圖進行進一步的特徵提取和融合。這裡筆者根據網絡結構計算了每個層的輸出特徵圖的尺寸。

 

 

但是，考慮到體素化處理點雲會丟失一定的定位信息，影響目標檢測精度。因此，網絡增加了RefinerNet用來進一步優化結果。

 

RefinerNet中引入了特徵增強和注意力機制，主要由MLP構成。網絡以包圍框特徵和點雲坐標作為輸入。通過一個獨特的fusion module來進行特徵的融合增強。先將這兩種特徵進行拼接並經過兩層MLP處理，然後與包圍框特徵得到的權值進行逐元素相乘，就這樣利用注意力機制來增強了網絡的定位能力。最後經過MLP後直接計算出包圍框8個頂點的坐標。

計算之前先對標籤中的包圍框進行調整，並且約定了角點的順序。

  

 

效果比「體素門派」的SECOND和PointPillars稍微好一點，逼近PointRCNN。速度的話，用的GPU不一樣，比較的意義不是很大。所以你現在已經躍躍欲試，準備入坑Fast Point R-CNN了嗎？

且慢……

 「模型在8塊NVIDIA P40 GPU上進行訓練，batch size設置為16」……

再想想那些在一塊1080Ti上就能訓練的SECOND、PointPillars、Point R-CNN……

往期相關

點擊「在看」

相關焦點

  • 在多目標識別方面,maskr-cnn已經取得了一些進展
    maskr-cnn是業界首款實用的全卷積神經網絡模型，為計算機視覺中的多目標識別與自動對焦，開創性的成為計算機視覺發展的新方向。無論是基於計算機視覺的自動對焦系統、模式識別系統，還是圖像識別，maskr-cnn都是有標誌性意義的。它強調平滑準確的計算輸入、檢測框和定位點，訓練過程與特徵提取過程採用多級感受野融合技術進行自動優化提高目標解析度及精度，以及做出精度更高的語義推理判斷。
  • 從R-CNN到YOLO,一文帶你了解目標檢測模型(附論文下載)
    它是將CNN用於對象檢測的起源，能夠基於豐富的特徵層次結構進行目標精確檢測和語義分割來源。如何確定這些邊界框的大小和位置呢？R-CNN網絡是這樣做的：在圖像中提出了多個邊框，並判斷其中的任何一個是否對應著一個具體對象。
  • 經典目標檢測方法Faster R-CNN和Mask R-CNN|基於PaddlePaddle深度...
    機器視覺領域的核心問題之一就是目標檢測 (object detection)，它的任務是找出圖像當中所有感興趣的目標 (物體)，確定其位置和大小。作為經典的目標檢測框架 Faster R-CNN，雖然是 2015 年的論文，但是它至今仍然是許多目標檢測算法的基礎，這在飛速發展的深度學習領域十分難得。
  • 卷積神經網絡 物體檢測 Faster-RCNN
    >回顧一下fast rcnn的過程，先通過selective search在每張圖片選2k個region proposal，將原圖通過cnn得到feature map，然後通過SPP或RoI pooling將不同region proposal的feature map轉化為固定的長度給全連接層，通過分類和位置組合Loss學習；在fast rcnn裡除了region
  • .| 深度學習理論與實戰:提高篇(14)——​Mask R-CNN代碼簡介
    > 檢測結果r包括rois(RoI)、masks(對應RoI的每個像素是否屬於目標物體)、scores(得分)和class_ids(類別)。 下圖是運行的效果，我們可以看到它檢測出來4個目標物體，並且精確到像素級的分割處理物體和背景。
  • 詳解目標檢測Faster R-CNN
    基於深度學習的目標檢測中，可能最難的問題就是生成長度不定(variable-length)的邊界框列表。在構建深度神經網絡時，最後的網絡輸出一般是固定尺寸的張量輸出(採用RNN的除外)。例如，在圖片分類中，網絡輸出是 (N,) 的張量，N 是類別標籤數，張量的每個位置的標量值表示圖片是類別i的概率值.
  • 賈佳亞等提出Fast Point R-CNN,利用點雲快速高效檢測3D目標
    選自arXiv作者：Yilun Chen、Shu Liu、Xiaoyong Shen、Jiaya Jia機器之心編譯參與：韓放、一鳴本文提出了一個統一、高效且有效的，基於點雲的三維目標檢測框架。其兩階段方法採用體素表示和原始點雲數據並充分利用了它們的優勢。
  • 經典解讀 | Cascade R-CNN詳細解讀
    從文章的題目上我們就可以看出來這篇文章目標是提高檢測質量，希望能獲得更精確的檢測結果。文章提出的cascade結構的效果是驚豔的，幾乎對於任意的R-CNN（Faster rcnn，FPN，R-FCN等）都可以帶來2到4個點的AP提升！！！而且實現十分簡單，已使用Pytorch在Pascal VOC上復現論文。此外，本篇文章的實驗講解部分對於理解R-CNN網絡有很大的幫助，建議詳細閱讀。   0.
  • 深度| 像玩樂高一樣拆解Faster R-CNN:詳解目標檢測的實現過程
    設想我們在解決問題前已知圖片中有兩個目標。那麼首先想到的應該是訓練一個網絡，這個網絡可以返回 8 個值：包含（xmin, ymin, xmax, ymax）的兩個元組，每個元組都用於定義一個目標的邊框坐標。這個方法有著根本問題，例如，圖片可能是不同尺寸和比例的，因此訓練一個可以直接準確預測原始坐標的模型是很複雜的。
  • 潮科技行業入門指南 | 深度學習理論與實戰:提高篇(14)——Mask R...
    class_names, r['scores'])檢測結果r包括rois(RoI)、masks(對應RoI的每個像素是否屬於目標物體)、scores(得分)和class_ids(類別)。下圖是運行的效果，我們可以看到它檢測出來4個目標物體，並且精確到像素級的分割處理物體和背景。
  • Mask R-CNN官方實現「又」來了!基於PyTorch,訓練速度是原來2倍
    Detectron效果輸出圖Mask R-CNN Benchmark是一個完全由PyTorch 1.0寫成，快速、模塊化的Faster R-CNN和Mask R-CNN組件。另外，商湯和香港中文大學的多媒體實驗室也開源了一個類似項目：mmdetection。它支持Faster R-CNN、Mask R-CNN、RetinaNet等等，相比Facebook的Detecron有5%到20%的性能提升。這個模型還在2018年的COCO Detection競賽中拿下了冠軍。
  • CNN 10 - October 29, 2020
    /cnn10/2020/10/28/ten-1029.cnn_3460289_768x432_1300k.mp4本期內容簡介：A typhoon in Vietnam and a hurricane in the U.S.
  • 入門| CNN也能用於NLP任務,一文簡述文本分類任務的7個模型
    該模型只加了一個整體單元，但結果比之前的兩個都要好。 關於詞袋模型 優點：考慮到其簡單的特性，詞袋模型已經很強大了，它們訓練速度快，且易於理解。 缺點：即使 ngram 帶有一些單詞間的語境，但詞袋模型無法建模序列中單詞間的長期依賴關係。
  • CNN 10 - October 16, 2020
    本期視頻連結:  https://pmd.cdn.turner.com/cnn/big/cnn10/2020/10/14/ten-1016.cnn_3450078_768x432_1300k.mp4本期內容簡介：Coronavirus Cases Rise in Most U.S
  • cnn.com網站被封
    cnn.com網站被封 美亞 00年10月19日 【原創】 作者： 中關村在線     CNN（美國有線電視新聞網）是全球最大也是最盈利的新聞機構之一，在全球有非常高的知名度
  • Facebook 發布 Detectron2:基於 PyTorch 的新一代目標檢測工具
    雷鋒網 AI 開發者按：Detectron 是 FAIR 在 2018 年初公開的目標檢測平臺，包含了大量業內最具代表性的目標檢測、圖像分割、關鍵點檢測算法，該框架主要基於 python 和 caffe2 實現，開源項目已獲得了超 2.2w 的星標數。
  • 「少即是多」的目標檢測算法Sparse R-CNN
    近幾年來，目標檢測算法發展迅速，許多新出現的目標檢測範式有著很強的相同之處，如Anchor-Free的方法中不依賴於Anchor的目標檢測範式：CenterNet兼有結構簡單和高的準確率；FCOS創新性目標檢測思路。
  • 先理解Mask R-CNN的工作原理,然後構建顏色填充器應用
    主幹架構主幹網絡的簡化圖示這是一個標準的卷積神經網絡（通常來說是 ResNet50 和 ResNet101），作為特徵提取器。底層檢測的是低級特徵（邊緣和角等），較高層檢測的是更高級的特徵（汽車、人、天空等）。
  • CNN 10 - February 4, 2021
    本期視頻連結:  https://clips-media-aka.warnermediacdn.com/cnn