【嘉德點評】華為發明的物體檢測方法，通過構建跨域知識圖譜，可以捕捉到不同待檢測物體間的內在關係，從而更加精確的進行物體識別，在智能安防等複雜場景中有著極其重要的應用。
集微網消息，2020年10月，由華為技術有限公司主辦、成都優普誠科技有限公司協辦的「普惠AI，破浪前行」2020華為好望秋季品鑑會在成都首座萬豪酒店成功舉辦，該會就機器視覺、智慧安防等領域展開了交流討論。
其中華為的機器視覺技術尤其適合應用在智慧安防等領域，尤其是在AI技術的加持下，可以讓安防變得更加的省心且智能。例如，物體檢測就是一項基本的計算機視覺任務，它可以識別圖像中物體的位置和類別。在實際應用中，研究員和工程師們會根據應用場景與實際任務需求的不同創建針對不同具體問題的數據集，用於訓練高度定製化和獨特的自動物體檢測器。
而在智慧安防領域，物體檢測也是非常重要的一個環節，在進行很多任務之前，首要的就是將待檢測物體定位並進行類別識別。為此，華為在20年1月21日申請了一項名為「一種物體檢測方法、裝置以及存儲介質」的發明專利（申請號：202010072238.0），申請人為華為技術有限公司。
該專利中發明的系統可以應用在大規模物體檢測場景中，例如手機人臉識別、手機識別萬物、無人車的感知系統、安防攝像頭、社交網站照片物體識別、智慧機器人等等。同時，由於這種物體檢測方法在對物體進行檢測時結合了跨域知識圖譜，因此其物體檢測效果會更好。
根據該專利目前公開的資料，讓我們一起來看看這項物體檢測方法吧。
如上圖，為該專利中發明的系統架構的結構示意圖，該架構中包括執行設備110、訓練設備12、資料庫130、客戶設備140、數據存儲系統150以及數據採集設備160。數據採集設備可以採集訓練數據，並將數據存入資料庫中，但是這種用於人工智慧訓練的數據需要進行人工標註。
訓練設備可以根據訓練數據訓練出目標檢測模型，當其他未知的圖片由用戶傳遞到計算模塊時，就可以由目標模型來進行識別，從而得到物體的類別信息，並將物體的檢測結果通過I/O接口呈現給客戶設備。
如上圖，為這種晶片的硬體結構圖解，該晶片主要包括神經網絡處理器，主CPU和外部存儲器分別用於提供控制指令以及數據。配合系統架構圖可知，這種晶片就是訓練設備120中所使用的，可以完成訓練設備的訓練任務並輸出物體的類型信息。
神經網絡處理器NPU作為協處理器掛載到主中央處理器上，由主CPU分配任務，NPU的核心部分為運算電路303，控制器304控制運算電路提取存儲器中的數據並進行運算。
我們知道在神經網絡的計算中是需要大量的矩陣乘加運算的。舉例來說，假設有輸入矩陣A，權重矩陣B，輸出矩陣C，運算電路從權重存儲器中取矩陣B相應的數據，並緩存在運算電路中每一個PE上。運算電路從輸入存儲器中取矩陣A數據與矩陣B進行矩陣運算，得到的矩陣的部分結果或最終結果，保存在累加器中。
向量計算單元可以對運算電路的輸出做進一步處理，如：向量乘、加、指數運算、對數運算以及大小比較等等，例如向量計算單元可以用於神經網絡中非卷積的網絡計算（池化、批歸一化），這些結構則正是進行AI運算的基礎。
如上圖，為該專利中申請的物體檢測方法的識別步驟的流程圖，首先系統會獲取待檢測的圖像，圖像可以通過攝像頭拍攝從街景等場合提取。接著確定待檢測圖像中的待檢測物體的初始圖像特徵，這個步驟中，可以對整個圖像進行卷積運算以得到整個圖像的圖像特徵，然後再從整個圖像的特徵圖中獲取物體的初始圖像特徵。
接著根據跨域知識圖譜信息來確定待檢測物體的增強圖像特徵，這個跨域知識圖譜信息包括不同域中待檢測物體對應的物體類別之間的關聯關係，增強圖像特徵指示不同域中與待檢測物體相關聯的其他物體對應的物體類別的語義信息，這種對應關係如下圖所示。
從上圖可以看到，這種對應關係即：兩個類別在同一個圖像中同時出現的概率越大，則認為兩個類別之間有關聯關係。上圖的第一個域中的物體類別包括男人、女人、男孩、女孩和馬路；街道第二個域中的物體類別包括人、手提包、書包、汽車和卡車。
我們認為第一個域中的男人、女人、男孩以及女孩與第二個域中的人之間具有關聯關係，第一個域中的女人和女孩與第二個域中的手提包具有關聯關係。這些關聯信息是通過常識來推理出來的，這樣的語義信息可以輔助進行圖像檢測的高級別信息。例如，待檢測物體為女人，待檢測圖像中與女人相關聯的其他物體包括手提包，那麼，待檢測物體的增強圖像特徵指示的可以是手提包的語義信息。
最後，我們再來看看這種物體檢測方法的整體流程圖，待檢測圖像可以先通過傳統的物體檢測器進行處理（例如Faster-RCNN網絡結構），再提取初始候選區域的初始圖像特徵以及分類層的參數，並構建域內的區域圖。
通過構建域內的區域圖，利用域間圖卷積網絡傳播節點上不同域下待檢測物體的高級語義表示，得到經過推理推斷後的融合了不同域下待檢測物體高級語義表示的特徵。最後將域內圖卷積、域間圖卷積經過推理推斷後得到的特徵投影到相應的待檢測物體的高級語義表示中，並進行分類和回歸，由此來得到待檢測物體的位置信息以及類別信息。
以上就是華為發明的物體檢測方法，通過構建跨域知識圖譜，可以捕捉到不同待檢測物體間的內在關係，由此來提高物體檢測方法的效果。這種方法可以應用在複雜場景下，例如在商場以及商業街等區域，可以輔助安保人員對該區域的行人、物體進行檢測，例如可以幫助尋找遺失物品以及進行可以物體檢測等，有效提高城市安防能力！
關於嘉德
深圳市嘉德智慧財產權服務有限公司由曾在華為等世界500強企業工作多年的智慧財產權專家、律師、專利代理人組成，熟悉中歐美智慧財產權法律理論和實務，在全球智慧財產權申請、布局、訴訟、許可談判、交易、運營、標準專利協同創造、專利池建設、展會智慧財產權、跨境電商智慧財產權、智慧財產權海關保護等方面擁有豐富的經驗。
（校對/holly）