關注「深度學習衝鴨」，一起學習一起衝鴨！
設為星標，第一時間獲取更多乾貨
連結：https://zhuanlan.zhihu.com/p/31427288著作權歸作者所有，本文僅作學術分享，若侵權，請聯繫後臺刪文處理後臺回復西瓜手推獲得西瓜書手推筆記
後臺回復CV入坑必備獲得CV入坑學習資料
SSD，全稱Single Shot MultiBox Detector，是Wei Liu在ECCV 2016上提出的一種目標檢測算法，截至目前是主要的檢測框架之一，相比Faster RCNN有明顯的速度優勢，相比YOLO又有明顯的mAP優勢（不過已經被CVPR 2017的YOLO9000超越）。圖1 速度對比從YOLO中繼承了將detection轉化為regression的思路，一次完成目標定位與分類基於Faster RCNN中的Anchor，提出了相似的Prior box；加入基於特徵金字塔（Pyramidal Feature Hierarchy）的檢測方式，即在不同感受野的feature map上預測目標圖2 SSD300/YOLO網絡結構對比上圖2是原論文中的SSD300與YOLO網絡結構圖。位什麼要把SSD與YOLO對比呢？因為截止到目前目標檢測分為了2種主流框架：Two stages：以Faster RCNN為代表，即RPN網絡先生成proposals目標定位，再對proposals進行classification+bounding box regression完成目標分類。Single shot：以YOLO/SSD為代表，一次性完成classification+bounding box regression。那麼來看同為Single shot方式的SSD/YOLO區別：YOLO在卷積層後接全連接層，即檢測時只利用了最高層Feature maps（包括Faster RCNN也是如此）SSD採用金字塔結構，即利用了conv4-3/conv-7/conv6-2/conv7-2/conv8_2/conv9_2這些大小不同的feature maps，在多個feature maps上同時進行softmax分類和位置回歸圖3 單層feature map預測和特徵金字塔預測對比layer {
name: "conv4_3_norm_mbox_priorbox"
type: "PriorBox"
bottom: "conv4_3_norm"
bottom: "data"
top: "conv4_3_norm_mbox_priorbox"
prior_box_param {
min_size: 30.0
max_size: 60.0
aspect_ratio: 2
flip: true
clip: false
variance: 0.1
variance: 0.1
variance: 0.2
variance: 0.2
step: 8
offset: 0.5
}
}
知道了priorbox如何產生，接下來分析prior box如何使用。這裡還是以conv4_3分析。圖5從圖5可以看到，在conv4_3網絡分為了3條線路：經過一次batch norm+一次卷積後，生成了**[1, num_class*num_priorbox, layer_height, layer_width]**大小的feature用於softmax分類目標和非目標（其中num_class是目標類別，SSD300中num_class = 21，即20個類別+1個背景)經過一次batch norm+一次卷積後，生成了**[1, 4*num_priorbox, layer_height, layer_width]**大小的feature用於bounding box regression（即每個點一組[dxmin，dymin，dxmax，dymax]，參考Faster R-CNN 2.5節）生成了**[1, 2, 4*num_priorbox*layer_height*layer_width]**大小的prior box blob，其中2個channel分別存儲prior box的4個點坐標(x1, y1, x2, y2)和對應的4個參數variance後續通過softmax分類判定Prior box是否包含目標，然後再通過bounding box regression即可可獲取目標的精確位置，熟悉Faster RCNN的讀者應該對上述過程應該並不陌生。其實pribox box的與Faster RCNN中的anchor非常類似，都是目標的預設框，沒有本質的差異。區別是每個位置的prior box一般是4~6個，少於Faster RCNN默認的9個anchor；同時prior box是設置在不同尺度的feature maps上的，而且大小不同。還有一個細節就是上面prototxt中的4個variance，這實際上是一種bounding regression中的權重。在圖4線路(2)中，網絡輸出[dxmin，dymin，dxmax，dymax]，即對應下面代碼中bbox；然後利用如下方法進行針對prior box的位置回歸：decode_bbox->set_xmin(
prior_bbox.xmin() + prior_variance[0] * bbox.xmin() * prior_width);
decode_bbox->set_ymin(
prior_bbox.ymin() + prior_variance[1] * bbox.ymin() * prior_height);
decode_bbox->set_xmax(
prior_bbox.xmax() + prior_variance[2] * bbox.xmax() * prior_width);
decode_bbox->set_ymax(
prior_bbox.ymax() + prior_variance[3] * bbox.ymax() * prior_height);
上述代碼可以在SSD box_utils.cpp的void DecodeBBox()函數見到。對於新學習SSD的人，肯定有一個很大的困惑，就是這麼多feature maps和Prior Box，如何組合在一起進行forwards/backwards。本節專門介紹SSD的數據流動方式，也許有點難。但是只有了解SSD的數據流動方式才能真的理解。
圖6上一節以conv4_3 feature map分析了如何檢測到目標的真實位置，但是SSD 300是使用包括conv4_3在內的共計6個feature maps一同檢測出最終目標的。在網絡運行的時候顯然不能像圖6一樣：一個feature map單獨計算一次multiclass softmax socre+box regression（雖然原理如此，但是不能如此實現）。那麼多個feature maps如何協同工作？這時候就要用到Permute，Flatten和Concat這3種層了。其中conv4_3_norm_conf_perm的prototxt定義如下：layer {
name: "conv4_3_norm_mbox_conf_perm"
type: "Permute"
bottom: "conv4_3_norm_mbox_conf"
top: "conv4_3_norm_mbox_conf_perm"
permute_param {
order: 0
order: 2
order: 3
order: 1
}
}
Permute是SSD中自帶的層，上面conv4_3_norm_mbox_conf_perm的的定義。Permute相當於交換caffe blob中的數據維度。在正常情況下caffe blob的順序為：bottom blob = [batch_num, channel, height, width]經過conv4_3_norm_mbox_conf_perm後的caffe blob為：top blob = [batch_num, height, width, channel]而Flattlen和Concat層都是caffe自帶層。圖7 SSD中部分層caffe blob shape變化那麼接下來以conv4_3和fc7為例分析SSD是如何將不同size的feature map組合在一起進行prediction。圖7展示了conv4_3和fc7合併在一起的過程中caffe blob shape變化（其他層類似，考慮到圖片大小沒有畫出來，請腦補）。對於conv4_3 feature map，conv4_3_norm_priorbox（priorbox層）設置了每個點共有4個prior box。由於SSD 300共有21個分類，所以conv4_3_norm_mbox_conf的channel值為num_priorbox * num_class = 4 * 21 = 84；而每個prior box都要回歸出4個位置變換量，所以conv4_3_norm_mbox_loc的caffe blob channel值為4 * 4 = 16。fc7每個點有6個prior box，其他feature map同理。經過一系列圖7展示的caffe blob shape變化後，最後拼接成mbox_conf和mbox_loc。而mbox_conf後接reshape，再進行softmax（為何在softmax前進行reshape，Faster RCNN有提及）。最後這些值輸出detection_out_layer，獲得檢測結果可以看到，SSD一次判斷priorbox到底是背景 or 是20種目標類別之一，相當於將Faster R-CNN的RPN與後續proposal再分類進行了整合。圖8 SSD300
SSD算法的優點應該很明顯：運行速度可以和YOLO媲美，檢測精度可以和Faster RCNN媲美。除此之外，還有一些雞毛蒜皮的優點，不解釋了。這裡談談缺點：需要人工設置prior box的min_size，max_size和aspect_ratio值。網絡中prior box的基礎大小和形狀不能直接通過學習獲得，而是需要手工設置。而網絡中每一層feature使用的prior box大小和形狀恰好都不一樣，導致調試過程非常依賴經驗。雖然採用了pyramdial feature hierarchy的思路，但是對小目標的recall依然一般，並沒有達到碾壓Faster RCNN的級別。作者認為，這是由於SSD使用conv4_3低級feature去檢測小目標，而低級特徵卷積層數少，存在特徵提取不充分的問題。對於SSD，雖然paper中指出採用了所謂的「multibox loss」，但是依然可以清晰看到SSD loss分為了confidence loss和location loss(bouding box regression loss)兩部分，其中N是match到GT（Ground Truth）的prior box數量；而α參數用於調整confidence loss和location loss之間的比例，默認α=1。SSD中的confidence loss是典型的softmax loss：代表第i個prior box匹配到了第j個class為p類別的GT box；而location loss是典型的smooth L1 loss：在訓練時，groundtruth boxes 與 default boxes（就是prior boxes） 按照如下方式進行配對：首先，尋找與每一個ground truth box有最大的jaccard overlap的default box，這樣就能保證每一個groundtruth box與唯一的一個default box對應起來（所謂的jaccard overlap就是IoU，如圖9）。SSD之後又將剩餘還沒有配對的default box與任意一個groundtruth box嘗試配對，只要兩者之間的jaccard overlap大於閾值，就認為match（SSD 300 閾值為0.5）。顯然配對到GT的default box就是positive，沒有配對到GT的default box就是negative。值得注意的是，一般情況下negative default boxes數量>>positive default boxes數量，直接訓練會導致網絡過於重視負樣本，從而loss不穩定。所以需要採取：所以SSD在訓練時會依據confidience score排序default box，挑選其中confidence高的box進行訓練，控制數據增廣。即對每一張image進行如下之一變換獲取一個patch進行訓練：採樣一個patch，保證與GT之間最小的IoU為：0.1，0.3，0.5，0.7 或 0.9圖10 Random crop採樣的patch佔原始圖像大小比例在之間採樣的patch的長寬比在之間當 Ground truth box中心恰好在採樣的patch中時，保留整個GT box最後每個patch被resize到固定大小，並且以0.5的概率隨機的水平翻轉其實Matching strategy，Hard negative mining，Data augmentation，都是為了加快網絡收斂而設計的。尤其是Data augmentation，翻來覆去的randomly crop，保證每一個prior box都獲得充分訓練而已。後續有Focal loss解決這個問題。SSD github :https://github.com/weiliu89/caffe/tree/ssd
SSD paper : https://arxiv.org/abs/1512.02325
！重磅！【深度學習衝鴨技術交流二群】微信交流群已成立
額外贈送福利資源！南京大學《模式識別》PPT，2020最新版《神經網絡與深度學習》中文版pdf，李航老師《統計學習方法》（第2版）課件分享，周志華《機器學習》西瓜書手推筆記（V2.8）
獲取方式：進入群後點開群公告即可領取下載連結