卷積神經網絡 物體檢測 FPN

2020-12-06 三姐的哥

2017年，kaiming和rbg再次合作（一作Tsung-Yi Lin），提出了FPN解決小物體檢測的問題

FPN（feature pyramid network）

從rcnn到fater rcnn，物體的分類都是在最後conv層的feature map上做的，而此時feature map每個點對應的是原圖的一個區域，如果我們要檢測的物體比較小，很容易漏檢；所謂低層的特徵淺但是位置精細，高層的特徵深但是位置粗糙，因此如何加入多尺度特徵是本篇要解決的問題，如下是幾種方案：

（a）通過多尺度圖片分別獲取多尺度特徵，特徵計算量大，效率低

（b）直接在最高層conv上做預測，這是類rcnn主流檢測的做法

（c）對每層不同尺度的feature map做預測，作者說SSD最早一批嘗試多尺度特徵的（這個lecun在12年就嘗試將底層特徵和高層特徵融合了），但是用的不夠淺（VGG的conv4_3）

（d）本篇的方法，將每層feature map上採樣和淺層融合後進行預測，這就是FPN（feature pyramid network）

具體實現如下圖，首先高層feature map 2x up上採樣，淺層feature map 1*1 卷積壓縮chanel，然後融合，每個尺度上都配置anchor選取對應原圖的region proposal，共{32^2, 64^2 , 128^2 , 256^2 , 512^2} * {1:2, 1:1, 2:1}共15種anchor；

FPN是在COCO數據集上驗證的效果，如下：

為什麼在COCO上實驗是有原因的，本文解決的是小物體漏檢的問題，更適合COCO數據，見下；

COCO數據集的難度：

COCO數據集是微軟貢獻的，相對於ImageNet其難度比較高，具體表現在：

1） 每張圖片包含的物體/檢測框多：和imagenet，VOC相比，如下圖，COCO的80類別12w的圖片量不算多，而Imagenet每張圖片 1.4個物體，COCO每張圖片有7.2個物體，是Imagenet的5倍；

2） 小物體比較多：如下圖，COCO小物體佔比31%，各尺度佔比均勻，Imagenet小物體僅有4.7%； small (A < 32 x 32)；medium (32x 32 < A < 96 x 96)；large (A > 96 x 96).

Feature Pyramid Networks for Object DetectionTsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, Serge Belongie

相關焦點

  • 基於卷積神經網絡的目標檢測算法簡介
    常用的卷積神經網絡類型包括：LeNet-5，AlexNet，VGG，GooLeNet和ResNet等。7. 基於卷積神經網絡實現的目標檢測算法怎麼分類？根據卷積神經網絡的使用方式，可以將基於卷積神經網絡的目標檢測分為兩大類：基於分類的卷積神經網絡目標檢測和基於回歸的卷積神經網絡目標檢測。傳統目標檢測方法包含預處理、窗口滑動、特徵提取、特徵選擇、特徵分類、後處理等步驟，而卷積神經網絡本身具有特徵提取、特徵選擇和特徵分類的功能。
  • 卷積神經網絡 物體檢測 SSD
    2015年，YOLO之後，另外一個直接回歸的方法SSD，以state-of-the-art的檢測效果和檢測效率橫空出世；SSD，single shot multibox detector準確率上：VOC達到最高80%，COCO這個小物體也是最高26.8%；2. 速度上，500尺寸下，SSD和YOLO基本持平，20幀，但是mAP高10點；另外，16年的YOLOv2在檢測效果和速度上更高一層，在效果保持state-of-the-art的基礎上，FPS能達到50+，是SSD的2倍+，但是！
  • 卷積神經網絡理解(一):濾波器的意義
    卷積神經網絡的發展二. 卷積神經網絡的重要性三. 卷積神經網絡與圖像識別四.濾波器一.卷積神經網絡的發展卷積神經網絡受到視覺細胞研究的啟發，1962年，Hubel和Wiesel發現初級視覺皮層中的神經元會響應視覺環境中特定的簡單特徵（比如有向的邊等）。
  • 卷積神經網絡 物體檢測 Faster-RCNN
    轉化為固定的長度給全連接層，通過分類和位置組合Loss學習；在fast rcnn裡除了region proposal外，其他的部分都可以end to end了，fast rcnn不算region proposal是0.3s每張圖片，而region proposal最快也要0.2s，這就是本篇要解決的問題了，如何提升region proposal的效率，按照之前的套路肯定是加入到一個網絡中
  • 卷積神經網絡(CNN)新手指南
    我們可以毫不猶豫迅速識別出我們周圍的環境以及物體，當我們看到一張圖片或者觀察周遭環境時，大部分時間我們都能馬上對場景做出判斷並且給每個物體都打上標識，這些甚至都不需要刻意去觀察。這些技能能夠迅速識別其模式，從我們以前的經驗中做出推論，然後將其運用至不同的圖片或者環境中——這些都是我們與機器不同的地方。
  • 一文讀懂卷積神經網絡工作原理
    讓這些濾波器組對特定的模式有高的激活，以達到CNN網絡的分類/檢測等目的。最後一層的濾波器按照訓練CNN目的的不同，可能是在檢測到人臉、手寫字體等時候激活[1]。所以，在相當程度上，構建卷積神經網絡的任務就在於構建這些濾波器。也就是，將這些濾波器變成這樣(改變濾波器矩陣的值，也就是Weight)的——能識別特定的特徵。這個過程叫做訓練。在訓練開始之時，卷積層的濾波器是完全隨機的，它們不會對任何特徵激活（不能檢測任何特徵）。
  • 基於PVANet卷積神經網絡模型的交通標誌識別算法
    針對這一瓶頸問題， 採用對PVANet網絡的淺層特徵提取層、深層特徵提取層和HyperNet層（多層特徵信息融合層）進行改進的措施， 提出了一種適用於小目標物體檢測的改進PVANet卷積神經網絡模型， 並在TT100K（Tsinghua-Tencent 100K）數據集上進行了交通標誌檢測算法驗證實驗。
  • 反思卷積神經網絡：圖像角度泛化上的困難重重
    ，就必須先理解卷積神經網絡是如何能夠正常工作的，以及卷積神經網絡和池化層的特別之處。因為濾波器覆蓋整個圖像，所以無論被識別對象在左上方還是右下角都會被檢測到。池化層有助於"總結"每個區域的識別結果以進一步優化，卷積層和池化層的存在也使得傾斜或縮放的物體在不同區域能被識別到。
  • 應用豐富的「卷積神經網絡」技術,怎樣實現了圖像識別?
    本文將使用卷積神經網絡來介紹「圖像識別」的概念、應用和技術方法。什麼是「圖像識別」？它的作用是什麼？從「機器視覺」的角度來說，「圖像識別」就是軟體識別圖像中出現的人物、地理位置、物體、動作和文字的能力。計算機可以使用「機器視覺技術」，並結合人工智慧軟體和一個攝像頭，完成圖像識別。
  • 解析卷積神經網絡的應用
    解析卷積神經網絡的應用 貿澤電子 發表於 2019-08-21 15:29:46 目前，人們對性能強大且結構複雜的計算機已是司空見慣。
  • 深度學習閱讀導航 | 03 FPN:基於特徵金字塔網絡的目標檢測
    2016年，何凱明大神、 Ross Girshick等人在CVPR上發表了《Feature Pyramid Networks for Object Detection》，提出了FPN的思想，為卷積神經網絡檢測不同尺寸大小的目標提供了新的解決思路
  • 卷積神經網絡的卷積到底是什麼
    卷積神經網絡是一種特殊的神經網絡結構，是自動駕駛汽車、人臉識別系統等計算機視覺應用的基礎，其中基本的矩陣乘法運算被卷積運算取代。 歷史 卷積神經網絡最初是由福島核電站在1980年引入的，當時名為Neocognitron。
  • CVPR 2017論文解讀:特徵金字塔網絡FPN
    FPN 主要解決的是物體檢測中的多尺度問題，通過簡單的網絡連接改變，在基本不增加原有模型計算量情況下，大幅度提升了小物體檢測的性能。我們將從論文背景，論文思想，結果與結論幾方面探討此論文。在物體檢測裡面，有限計算量情況下，網絡的深度（對應到感受野）與 stride 通常是一對矛盾的東西，常用的網絡結構對應的 stride 一般會比較大（如 32），而圖像中的小物體甚至會小於 stride 的大小，造成的結果就是小物體的檢測性能急劇下降。傳統解決這個問題的思路包括：（1）多尺度訓練和測試，又稱圖像金字塔，如圖 1(a) 所示。
  • 給你一個卷積神經網絡工作原理最直觀的解釋
    卷積神經網絡（Convolutional Neural Network, CNN）是人工神經網絡的一種，是當下語音分析和圖像識別領域的研究熱點。這篇文章用最簡明的語言和最直觀的圖像，帶你入門CNN。準備好了嗎？Let’s go——我們先從最基礎的內容說起。對二維數位訊號（圖像）的操作，可以寫成矩陣形式。
  • 淺析人工智慧的卷積神經網絡與圖像處理
    淺析人工智慧的卷積神經網絡與圖像處理 demi 發表於 2019-11-02 11:23:43 在人工智慧深度學習技術中，有一個很重要的概念就是卷積神經網絡 CNN（Convolutional Neural
  • 深度學習入門:淺析卷積神經網絡
    至今已有數種深度學習方法，如卷積神經網絡（CNN）、自編碼神經網絡（包括Auto encoder和Sparse Coding）和深度置信網絡（DBN），並在各個領域中取得了極好的效果。卷積神經網絡概述在了解卷積神經網絡之前，我們先簡單了解最基本的神經網絡。
  • 卷積神經網絡(CNN)介紹與實踐
    - 來源：http：//cs231n.github.io/classification/為了「教會」一種算法如何識別圖像中的對象，我們使用特定類型的人工神經網絡：卷積神經網絡（CNN）。他們的名字源於網絡中最重要的一個操作：卷積。卷積神經網絡受到大腦的啟發。
  • YJango的卷積神經網絡——介紹
    PS：YJango是我的網名，意思是我寫的教程，並不是一種網絡結構。。關於卷積神經網絡的講解，網上有很多精彩文章，且恐怕難以找到比斯坦福的CS231n還要全面的教程。 所以這裡對卷積神經網絡的講解主要是以不同的思考側重展開，通過對卷積神經網絡的分析，進一步理解神經網絡變體中「因素共享」這一概念。注意：該文會跟其他的現有文章有很大的不同。
  • 卷積神經網絡在圖像領域中的發展及存在問題
    自1974年Paul Werbos等人提出反向傳播算法（BP算法），解決了由淺層的神經網絡模型應用到深層的神經網絡模型中線性不可分的問題。深層神經網絡一般使用反向傳播算法的方法來訓練，但是由於層數較多並且隨機初始化的方法較粗糙，隨著深度加深，會造成的訓練結果不穩定或產生「梯度消失」的問題，使得深層神經網絡無法work。
  • 9大主題卷積神經網絡(CNN)的PyTorch實現
    上文聚焦於源碼和論文，對於各種卷積神經網絡模型的實現，本文將介紹它們的 PyTorch 實現，非常有用！這份資源已經開源在了 GitHub 上，連結如下：https://github.com/shanglianlm0525/PyTorch-Networks先來個總結介紹，該系列的卷積神經網絡實現包含了 9 大主題，目錄如下：1. 典型網絡2. 輕量級網絡3. 目標檢測網絡4.