選自Google AI Blog
作者：Adel Ahmadyan、Tingbo Hou
機器之心編譯
機器之心編輯部
常規目標檢測，已經不能滿足移動端了，谷歌開源的 3D 實時目標檢測了解一下？
目標檢測是一個得到廣泛研究的計算機視覺問題，但大多數研究側重於 2D 目標檢測。值的注意的是，2D 預測僅能提供 2D 邊界框。所以，如果擴展至 3D 預測，人們可以捕捉到目標的大小、位置與方向，從而在機器人、無人駕駛、圖像檢索和 AR 等領域得到更廣泛的應用。
儘管 2D 目標檢測已經相當成熟，並在工業界廣泛應用，但由於數據缺乏以及同類別下目標形狀和外觀的多樣性，從 2D 轉向 3D 目標檢測依然會面臨較大的挑戰。
今日，谷歌宣布推出 MediaPipe Objectron，這是一種適用於日常物體的移動端實時 3D 目標檢測 pipeline，它能夠檢測 2D 圖像中的目標，並通過新創建 3D 數據集上訓練的機器學習模型來估計這些目標的姿態和大小。
具體而言，MediaPipe 是一個用於構建 pipeline 進而處理不同模態感知數據的跨平臺開源框架，Objectron 則在 MediaPipe 中實現，其能夠在行動裝置上實時計算目標的定向 3D 邊界框。
從單個圖像進行 3D 目標檢測。MediaPipe 可以在移動端上實時確認目標對象的位置、方向以及大小。整個模型非常精簡，速度也非常快，研究者將整套方案都開源了出來。
框架地址：https://github.com/google/mediapipe/項目地址：https://github.com/google/mediapipe/blob/master/mediapipe/docs/objectron_mobile_gpu.mdMediaPipe 是谷歌去年 7 月份發布的一個多媒體框架，它在安卓、IOS 網頁等各種平臺上都能應用機器學習媒體模型。昨日 MediaPipe 發布 0.7 版，並加入了移動端試試 3D 檢測模型。目前 MediaPipe 包含人臉檢測、手部檢測、頭髮分割和視頻自動橫豎屏轉換等功能。
獲取真實的 3D 訓練數據
隨著依賴於 3D 傳感器（如 LIDAR）的自動駕駛行業發展普及，現在已有大量街道場景的 3D 數據，但對於日常生活中擁有更細顆粒度的目標來說，有標註的 3D 數據集就非常有限了。所以，為了解決此問題，谷歌團隊使用了 AR 會話（Session）數據開發了一種全新的數據 Pipeline。
此外，隨著 ARCore 以及 ARkit 的出現，數億體量的智慧型手機擁有了 AR 功能，並且能夠通過 AR 會話取獲取更多的信息，包括相機姿態、稀疏 3D 點雲、光照估計以及平面區域估計。
為了標記真實數據，團隊構建了一個全新的標註工具，並且與 AR 會話數據一起使用，該標註工具使標註者得以快速標記目標的 3D 邊界框。
該工具使用了分屏視圖來顯示 2D 的視頻幀，同時在其左側疊加 3D 邊界框，並在右側顯示 3D 點雲，攝像機方位以及所檢測到的水平面。標註器在 3D 視圖中繪製 3D 邊界框，並通過查看 2D 視頻幀中的投影來驗證其位置。
左：帶標註的 3D 邊界框所形成的投影展示在邊界框頂部，更易於驗證標註；右：通過檢測到的目標表面以及稀疏點雲數據，可以為不同的相機姿態標註真實世界中的 3D 邊界框。
AR 合成數據
之前常用的方法會根據合成數據補充真實數據，以提高預測的準確性。然而這樣的做法通常會導致質量低下、不真實的數據，且如果要執行圖像的真實感渲染，又需要更多的計算力。
研究者採用了另一種稱之為 AR 合成數據（AR Synthetic Data Generation）的方法，只要將對象放到 AR 系統的工作場景中，我們就能利用相機姿態估計、水平面檢測、光照估計生成物理上可能存在的位置及場景。這種方法能生成高質量合成數據，並無縫匹配實際背景。通過結合真實數據與 AR 合成數據，研究者能將模型的準確性提高約 10%。
AR 合成數據的生成示例，在藍色書籍旁邊，虛擬的白色盒子可以渲染到真實場景中。
3D 目標檢測的流程是什麼樣的
對於 3D 目標檢測，研究者先構建了一個單階段模型 MobilePose，以預測單張 RGB 圖像中某個目標的姿態和物理大小。該模型的主幹是一個編碼器-解碼器架構，其構建在 MobileNet V2 的基礎上。研究者應用了多任務學習方法，來從檢測與回歸的角度聯合預測目標的形狀，且在預測形狀的過程中，其只依賴於標註的分割圖像。
MobilePose-Shape 網絡在中間層會帶有形狀預測模塊。
在模型的訓練中，如果數據沒有標註形狀，那也是可行的。只不過藉助檢測邊界框，研究者可以預測形狀中心與分布。
為了獲得邊界框的最終 3D 坐標，研究者利用了一種完善的姿態估計算法（EPnP），它可以恢復對象的 3D 邊界框，而無需知道對象維度這一先驗知識。給定 3D 邊界框，我們可以輕鬆計算對象的姿態和大小。
下圖顯示了網絡架構和後處理過程，該模型輕巧到可以在行動裝置上實時運行（在 Adreno 650 mobile GPU 上以 26 FPS 的速度運行）。
3D 目標檢測的神經網絡架構與後處理過程。
模型的示例結果，其中左圖為估計邊界框的原始 2D 圖像，中間為帶高斯分布的目標檢測，最右邊為預測的分割 Mask。
在 MediaPipe 中進行檢測和追蹤
當模型對行動裝置獲得的每一幀圖像進行計算的時候，它可能會遇到晃動的情況，這是因為每一幀對目標邊界框預測本身的模糊性造成的。為了緩解這個問題，研究者採用了檢測+追蹤的框架，這一框架近期被用於 2D 檢測和追蹤中。這個框架減少了需要在每一幀上運行網絡的要求，因此可以讓模型的檢測更為精確，同時保證在移動端上的實時性。它同時還能保持識別幀與幀之間的目標，確保預測的連貫性，減少晃動。
為了進一步提升這一 pipeline 的效率，研究者設置模型在每幾幀後再進行一次模型推理。之後，他們使用名為快速動作追蹤（instant motion tracking）和 Motion Stills 技術進行預測和追蹤。當模型提出一個新的預測時，他們會根據重疊區域對檢測結果進行合併。
為了鼓勵研究者和開發者基於這一 pipeline 進行試驗，谷歌目前已經將研究成果開源到了 MediaPipe 項目中，包括端到端的行動裝置應用 demo，以及在鞋、椅子兩個分類中訓練好的模型。研究者希望這一解決方案能夠更好地幫助到社區，並產生新的方法、應用和研究成果。團隊也希望能夠擴大模型到更多類別中，進一步提升在移動端設備的性能表現。
室內和戶外 3D 目標檢測示例。
原文連結：https://ai.googleblog.com/2020/03/real-time-3d-object-detection-on-mobile.html