深度學習框架之pytorch(63)目標檢測R-CNN1

下面介紹第一個影響重大的基於深度學習的目標檢測算法R-CNN，自2012年AlexNet網絡在ImageNet上大放異彩之後，很多領域逐漸引入了深度學習特別是深度卷積神經網絡的方法。2013年首次將深度卷積神經網絡引入目標檢測領域的算法是OverFeat算法，出自論文《OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks》，它基於AlexNet卷積神經網絡，實現了識別、定位、檢測共用同一個網絡框架，獲得了2013年ILSVRC定位比賽的冠軍。在2014年提出的目標檢測算法R-CNN真正引起世人對深度學習目標檢測的注意，而且R-CNN的性能遠遠優於OverFeat，因此但不道德的默認R-CNN算法是深度學習目標檢測算法的開山之作。R-CNN出自論文《Rich feature hierarchies for accurate object detection and semantic segmentation》。

使用了 region proposals 的方法和convolutional neural networks卷積神經網絡，即 Regions with CNN features，簡稱R-CNN。

第一步：在一張輸入圖像上使用selective search算法生成1k~2k個候選區域region proposals。

第二步：在每個候選區域region proposal上使用深度卷積神經網絡，這裡使用的就是AlexNet，進行特徵提取，得到特徵向量。

第三步：將提取到的特徵向量分別送到每個類別的SVM分類器，判斷是否屬於該類別。

第四步：經過前三步能夠選擇出最好的候選區域region proposal，但是selective search算法可能生成的選區域region proposals不是特別的準確，所以在這一步通過回歸器對候選區域region proposal坐標進行修正。

selective search算法即選擇性搜索，簡稱ss算法，最早出現在論文《Efficient Graph-Based Image Segmentation》基於圖割的高效圖像分割算法，該算法在圖像分割和圖像的立體匹配上具有重要作用。在R-CNN中引用的ss算法來自論文《Selective Search for Object Recognition》，當然這裡的ss算法引用了上面的，R-CNN引文中的ss算法取決於以下設計考慮：Capture All Scales。目標可以在圖像中以任何比例出現。此外，一些目標的邊界比其他對象的邊界不太清晰。因此，在選擇性搜索中，必須考慮所有的目標scale，這可以通過分層算法來實現。Diversification。沒有單一的最優策略將區域分組在一起，區域可以形成一個物體，因為只有顏色，只有紋理，或者因為部分是封閉的。此外，光照條件，如陰影和光的顏色，可能會影響區域如何形成一個目標。因此，希望有一套不同的策略來處理所有情況，而不是一個在大多數情況下都很有效的策略。Fast to Compute。選擇性搜索的目標是產生一組可能的目標位置，用於實際的對象識別框架。這個集合的創建不應該成為計算瓶頸，因此算法應該相當快。基於上面的考量標準，ss算法採用分層分組算法作為基礎，由於自下而上的分組是一種流行的分割方法《Efficient Graph-Based Image Segmentation》，因此ss算法選擇使用它。因為分組的過程本身是有層次的，所以可以通過繼續分組過程，直到整個圖像成為一個單獨的區域，這樣就自然地生成所有scale的位置，滿足了捕捉所有scale的條件。由於區域可以產生比像素更豐富的信息，希望儘可能使用基於區域的特徵。為了得到一組理想情況下不跨越多個對象的小的起始區域，使用了《Efficient Graph-Based Image Segmentation》論文中的方法。總而言之，核心就是《Efficient Graph-Based Image Segmentation》中圖像分割算法。首先，使用《Efficient Graph-Based Image Segmentation》中的方法來創建初始區域。然後，使用貪婪算法迭代地將區域合併在一起，計算所有相鄰區域之間的相似度，將兩個最相似的區域合併在一起，並計算結果區域與其相鄰區域之間的新相似度。最後，重複上面步驟，將最相似的區域合併直到整個圖像變成單個區域。

Complementary Colour Spaces。考慮不同的場景和照明條件，因此要在具有一系列不變性的各種顏色空間中執行分層分組算法。。Complementary Similarity Measures。文中定義了四個互補的、快速計算的相似性度量，這些度量都在[0,1]範圍內。Complementary Starting Regions。改變互補的起始地區《Efficient Graph-Based Image Segmentation》中的方法是最快的。

selective search算法的python代碼

原始的selective search算法的論文附帶的代碼是c++版本的，感興趣的可以自行查找學習。這裡介紹python版本的selective search算法。第一種方法，也是最簡單的一種方法，下載selective search算法的python包。網絡大神眾多，所以selective search算法包也有多個，先來看看selective-search包，下載命令、使用案例以及結果如下。

pip install selective-search
from selective_search import selective_searchimport cv2
image = cv2.imread("./dog.jpg")boxes = selective_search(image, mode='single', random_sort=False)
print(boxes)for x0, y0, x1, y1 in boxes:    cv2.rectangle(image, (x0, y0), (x1, y1), (255, 0, 0), 1)
cv2.imshow("image", image)cv2.waitKey(0)
再來看看另一個selective search算法的python包selectivesearch，安裝和使用命令如下。
pip install selectivesearch
from selectivesearch import selectivesearch
import cv2
image = cv2.imread("./dog.jpg")boxes = selectivesearch.selective_search(image, scale=500, sigma=0.6, min_size=50)
for r in boxes[1]:    cv2.rectangle(image, (r["rect"][0], r["rect"][1]), (r["rect"][2], r["rect"][3]), (255, 0, 0), 1)
cv2.imshow("image", image)cv2.waitKey(0)
第二種方法是使用opencv-contrib-python，opencv圖像處理庫中帶有selective search算法的實現。安裝和舉例如下，下圖是間隔100個區域繪製的結果。從繪製效果和運行速度上看，opencv中的selective search都是最好的，所以推薦使用opencv。另外opencv由於對算法性能進行了優化在工業上應用廣泛，唯一存才的問題是有些版本變動和不兼容。
pip install opencv-contrib-python==3.4.3.18
import randomimport timeimport cv2
image = cv2.imread("./dog.jpg")ss = cv2.ximgproc.segmentation.createSelectiveSearchSegmentation()ss.setBaseImage(image)
method = "fast"
if method == "fast":    ss.switchToSelectiveSearchFast()elif method == "quality":    ss.switchToSelectiveSearchQuality()
start = time.time()rects = ss.process()end = time.time()
print("[INFO] selective search took {:.4f} seconds".format(end - start))print("[INFO] {} total region proposals".format(len(rects)))
for i in range(0, len(rects), 100):
    output = image.copy()    for (x, y, w, h) in rects[i:i + 100]:        color = [random.randint(0, 255) for j in range(0, 3)]        cv2.rectangle(output, (x, y), (x + w, y + h), color, 2)
    cv2.imshow("Output", output)    key = cv2.waitKey(0) & 0xFF    if key == ord("q"):        break