月23日,由雷鋒網 & AI掘金志主辦的「第二屆中國人工智慧安防峰會」在杭州召開。
峰會現場,王金橋教授以《AI中臺引擎:連接、計算與賦能》為主題,闡述了目前視頻系統存在的問題,以及AI中臺引擎如何助力AI場景化多元化落地。
王金橋是國內知名計算機視覺與視頻分析專家、中國科學院自動化研究所模式識別國家重點實驗室研究員、同時作為中科視語董事長,對產學研的融合頗有心得。
王金橋指出,儘管智慧城市和智能安防的發展速度驚人,但其中仍然存在幾大問題:第一、當前的視頻系統組網複雜,難以維護,平臺不兼容的問題仍然明顯;第二、協議標準、數據標準不統一,設備的數據和編碼分散,兼容性非常差;第三、存在大量的信息孤島,無法統一管理;第四、AI晶片整體產能不足,分析效率有待提升。
「我們現有的數據,以及我們未來對焦的數據平臺如何關聯、如何引用,是現在能力發展所遇到的困難。所以未來就更需要這種開放式的AI平臺。」基於此,王金橋教授提出了AI中臺的概念。
「AI中臺引擎,有一個重要組成部分「AI智能盒」,也就是一個「AI中間件」,可以一鍵安裝實現多樣化的設備連接,無縫兼容多樣化的終端,簡單來說就是能夠連接一切視覺設備,同時通過AI中臺引擎的連接,中間件將各種數據傳到AI中臺,便可實現AI與各種雲端相結合,形成連接智能的作用」,王教授說。他希望無論是什麼類型的視覺數據,中間件都能發揮「連接智能」的作用,在各種雲端和AI相結合。其次,是希望中間件能夠兼容硬體設備,並且對視頻進行有效傳輸,打破信息孤島,成為一個統一的協議出口。
王教授認為,2018年是AI落地元年,2019年將是場景化AI場景化規模化落地的開始。只有形成定製化的應用,滿足用戶的需求,才能把算法和數據有效結合,去解決細分領域、細分場景的問題,這才能夠真正實現AI落地,實現百花齊放。
以下為王金橋的現場演講內容,雷鋒網作了不改變原意的編輯及整理:
感謝雷鋒網(公眾號:雷鋒網)的邀請。
前面很多嘉賓講了一人一檔、開放式平臺,我想給大家分享的主題是《AI中臺引擎》。我認為,在智慧城市等各個領域,AI起到的其實是中臺引擎的作用,包含幾個方面:連接、計算與賦能。
視頻大數據現狀
我們知道,視頻數據正在呈爆發式增長。同時,5G和AI晶片的到來給視頻數據的傳輸和計算增添了新的增長點,給未來城市級的安防和監控創造了許多新的產業機會。其中,AI起到的最重要的作用就是語義計算。
前面很多嘉賓講到智慧城市的發展。其實,早在古代我們就開始了對城市的觀察、監控和管理,並利用烽火臺進行通訊。只不過,今天我們使用的技術已經發展到了第四代視覺計算。第四代視覺計算的目標是將過去的「被動式防禦」變成「主動式預警」。
從「被動式防禦」變成「主動式預警」就涉及到決策,而決策又涉及多種多樣的任務和需求。
今天,我們視頻系統的能力還存在許多不足:
第一、當前的視頻系統組網複雜,難以維護,平臺不兼容的問題仍然明顯;第二、協議標準、數據標準不統一,設備的數據和編碼分散,兼容性非常差;第三、存在大量的信息孤島,無法統一管理;第四、AI晶片整體產能不足,分析效率有待提升。
這給我們做一個開放式的、AI賦能的平臺帶來了許多障礙。未來,如何將現有的數據和新增的數據進行關聯和引用是我們需要解決的問題。
我們知道,2014年AI就在人臉識別上超過了人類,但直到2018年這項技術才大規模落地,而且當時主要用到的是1:1人臉比對。人臉識別技術的場景化經歷了四五年,過程非常之艱難。但我認為,2019年將是AI場景化、規模化,或者說百花齊放的一年。AI將在社區、考勤、門店、終端等各個場景實現定製化。只有定製化的應用,才能把算法和數據有效結合,從而解決實際問題。
我們的「AI智能中臺」中有個硬體,叫做中間件。我們希望來自不同設備的、不同類型的視覺數據,通過網口連接到這個中間件後,就能夠在業務層和雲端的AI相結合。它起到的是連接智能的作用。
中間件主要可以解決幾個問題:一是開發的問題,不需要再針對現有的設備重新開發一套平臺;二是能夠兼容各種各樣的設備,插入之後在雲端打開一個網址就能看到所有我想要的東西;三是通過4G和5G將視頻進行有效傳輸,打破信息孤島;最後,我們希望這個中間件能夠變成數據的統一協議出口,對接後面的AI中臺。
我們的產品視接盒,它可以兼容目前大多數模擬和數字攝像機。無論何種編碼格式的數據都可以在這裡重新編碼、定位和傳輸,無縫對接AI、4G、北鬥等等。這是一個全新的硬體。
我們還提供視頻匯聚中臺,支持數據的定發、轉發,將數據推到阿里雲等各種業務應用場景。我們提供的解決方案主要面向智慧城市——包括車輛、人臉識別,智能製造、新零售等場景。其中,智能製造是工業史上的一個新命題。
目前,視頻結構化或者說目標檢測,依舊是一個非常難的問題,比如人的跨鏡頭追蹤,在公開數據集中的準確率只有88%,還有很長的路要走。
我們希望我們的中臺能夠支持多任務聯合計算。所謂多任務聯合計算,就是說一個神經網絡能夠同時完成目標檢測、場景解析和目標識別。
下圖是我們去年參加無人駕駛競賽的場景。在同一個模型上,我們能夠同時解決可行駛區域的解析,人、車、物的結構化檢測,還有車牌、車距和交通標誌的識別。
在這個任務中,我們使用了基於耦合自學習的神經網絡量化目標檢測引擎。我們通過AutoL的模型,和華為、海康、比特大陸等廠商的晶片,打造了基於AI中臺的神經網絡編譯器,能夠實現4比特甚至2比特的快速神經網絡計算,使它進行無損壓縮和自動量化,實現多重功能的聚合。
下圖展示了我們去年比賽的結果。在三項任務中,我們只用了一個10G算力的GPU,就達到了第二名4倍的總成績和10倍的計算速度。
我們的多任務同時優化算法可以使一個普通CPU實現1080P的全視頻結構化和檢測、追蹤。
下面介紹幾個具體的應用場景。以大家經常提的車輛識別為例,它跟人臉識別類似。我們經過十多年的研發,和交通部、公安部合作,取得了許多重大成果。
其實每輛車都有自己特定的身份。我們通常只知道自己車的款式,但依然能夠在茫茫車海中找到自己那輛,靠的就是車的身份識別。通過局部算法,我們能夠實現對車的精細化特徵——也就是車紋識別。我們在國際上做了一個目前最大的、針對電子警察和卡口的車輛數據集,叫Vehicle-1M。我們也將發布面向開放場景的更大的數據集,以實現在沒有車牌的情況下識別所有車的身份。
我們在神經網絡上做過驗證,發現每輛車的車窗部分都是有差異的。一輛車售出後,它的年檢標、紙巾盒、掛件等就構成了它在某個時間段的獨特身份。層級式注意力耦合網絡可以對它的這些特徵進行學習,實現很好的識別效果。當然這個過程也依賴於大數據的積累。
我們在全國大約6個省份推出了面向高速公路和靜態停車場的無感車輛收費系統。無需藉助車牌,就可以完成檢測、追蹤和收費的整個過程。我們甚至還能精細刻畫每個車的噸位、排放,從而在大城市依據不同道路情況對車輛的噸位和排放進行自動治理。
車輛識別在交通罰款領域也應用得非常多,不過還有很大的改善空間,需要跟場景進一步結合。
舉兩個例子。一個是今天交管發的一條新聞,說有個人在開車的時候摸了一下頭髮,被誤認為在打電話,被罰了款。如何精準地區分摸頭髮和打電話呢?這是個定製化的場景,目前誤報還非常多。
另一個是說,有輛車出了事故,拖車從應急車道把它拖走。結果攝像頭拍到它佔用應急車道,也罰了款。
上面兩個例子說明,算法跟場景和業務必須深度結合。AI作為視覺中臺,可以有效地提供AI算法,讓做服務的公司專心做好服務,做應用的公司專心做好算法和場景的結合。
無人值守路測停車也是一種常見應用,我們在雄安、通州和東莞都有落地。我們在一個杆子上裝上攝像頭,一個攝像頭可以看7-8個車位。車輛停進去後我們拍一張照片,等它走的時候再拍一張照片,通過計算兩張照片中間的時間間隔,再連接上交管APP就可以實現自動收費。
人臉識別
人臉識別大家都很熟悉,但其實它是個非常難的技術,尤其是在海量數據規模的情況下。算法在網絡數據集和實際場景中識別精度之間還存在著巨大的鴻溝。公開數據集中千萬分之一誤識率的算法,到了實際場景中識別精度可能只有66%。即使我們結合了身份等各種信息,算法在實際場景中的精度依舊很難提升。
人臉三維識別,也就是我們常說的側臉識別。近幾年通過GAN、渲染和幾何學的方法,三維數據有了爆炸式的增長。據我們驗證,在根據側臉生成正臉方面,幾何學+渲染的方法要勝過GAN。GAN對性能的提升其實非常有限,投入產出比很低,還不如派人力去採集大量數據。
此外,我們還結合了人體信息,相當於人體和人臉的聯合學習。這種方法最大的缺陷在於人體的不可靠性。在比較理想的情況下,我們可以清晰判斷兩個圖像是不是同一個人。但在遠距離、圖像比較小的情況下,數據標註是非常大的挑戰。我們甚至還融入了步態,將多種維度的信息進行融合,我們稱之為多維立體感知,通過這種方法解決開放式場景的無感人員管理。這是目前行業內的一大研究趨勢。
另外,我們還可以結合更多的信息,比如聯通和電信的數據、高鐵的數據、酒店的數據,在全省範圍查詢某個人的軌跡。下圖展示了我們在河南和湖北用到的一些方案。
我們的中間件目前已經推出,全國好多個地方都在用,我們希望它能夠在各個領域發揮巨大的價值。
在國家「雙創計劃」的鼓勵下,我們做科研的同時,也自主創業成立了一家公司「視語科技」。我們公司的願景就是,通過AI中臺讓這個世界更加溫暖。
關於中國人工智慧安防峰會
由雷鋒網 & AI掘金志主辦的「2019中國人工智慧安防峰會」,是業內極具影響力的AI安防論壇,致力於推動中國「AI-安防」落地融合與「學術-產業」的應用交叉。
延續上一屆峰會的高水準、高人氣,2019中國人工智慧安防峰會再度站在算法、工程和產品的最前沿,引導安防行業認知再升級。這是海康、大華、華為、阿里、騰訊以及多個AI獨角獸,因「AI安防」首次同臺,峰會現場也聚集了海內外1000多位政企管理層和技術研究員,共同探討2019年的AI安防智能技術部署、前沿算法應用與商業戰略布局。
本次峰會共設置「城市大腦與邊緣計算」、「世界頂尖算法應用」、「前端動態識別與智能視頻雲」、「城市AIoT與邊緣智能引擎」四大議題,出席的15位演講嘉賓分別是:
上午場:阿里巴巴華先勝、海康威視浦世亮、大華股份殷俊、地平線張永謙、深瞐科技陳瑞軍、商湯科技張果琲、浪潮商用機器張琪。
下午場:香港科技大學權龍、原松下(新加坡)研究院申省梅、華為餘虎、觸景無限肖洪波、曠視科技安洋、千視通胡大鵬、騰訊李牧青、中科院自動化所王金橋。