中科院自動化所王金橋:深耕AI中臺引擎,助AI場景化、多元化落地

2020-12-06 雷鋒網

月23日,由雷鋒網 & AI掘金志主辦的「第二屆中國人工智慧安防峰會」在杭州召開。

峰會現場,王金橋教授以《AI中臺引擎:連接、計算與賦能》為主題,闡述了目前視頻系統存在的問題,以及AI中臺引擎如何助力AI場景化多元化落地。

王金橋是國內知名計算機視覺與視頻分析專家、中國科學院自動化研究所模式識別國家重點實驗室研究員、同時作為中科視語董事長,對產學研的融合頗有心得。

王金橋指出,儘管智慧城市和智能安防的發展速度驚人,但其中仍然存在幾大問題:第一、當前的視頻系統組網複雜,難以維護,平臺不兼容的問題仍然明顯;第二、協議標準、數據標準不統一,設備的數據和編碼分散,兼容性非常差;第三、存在大量的信息孤島,無法統一管理;第四、AI晶片整體產能不足,分析效率有待提升。

「我們現有的數據,以及我們未來對焦的數據平臺如何關聯、如何引用,是現在能力發展所遇到的困難。所以未來就更需要這種開放式的AI平臺。」基於此,王金橋教授提出了AI中臺的概念。

「AI中臺引擎,有一個重要組成部分「AI智能盒」,也就是一個「AI中間件」,可以一鍵安裝實現多樣化的設備連接,無縫兼容多樣化的終端,簡單來說就是能夠連接一切視覺設備,同時通過AI中臺引擎的連接,中間件將各種數據傳到AI中臺,便可實現AI與各種雲端相結合,形成連接智能的作用」,王教授說。他希望無論是什麼類型的視覺數據,中間件都能發揮「連接智能」的作用,在各種雲端和AI相結合。其次,是希望中間件能夠兼容硬體設備,並且對視頻進行有效傳輸,打破信息孤島,成為一個統一的協議出口。

王教授認為,2018年是AI落地元年,2019年將是場景化AI場景化規模化落地的開始。只有形成定製化的應用,滿足用戶的需求,才能把算法和數據有效結合,去解決細分領域、細分場景的問題,這才能夠真正實現AI落地,實現百花齊放。

以下為王金橋的現場演講內容,雷鋒網作了不改變原意的編輯及整理:

感謝雷鋒網(公眾號:雷鋒網)的邀請。

前面很多嘉賓講了一人一檔、開放式平臺,我想給大家分享的主題是《AI中臺引擎》。我認為,在智慧城市等各個領域,AI起到的其實是中臺引擎的作用,包含幾個方面:連接、計算與賦能。

視頻大數據現狀

我們知道,視頻數據正在呈爆發式增長。同時,5G和AI晶片的到來給視頻數據的傳輸和計算增添了新的增長點,給未來城市級的安防和監控創造了許多新的產業機會。其中,AI起到的最重要的作用就是語義計算。

前面很多嘉賓講到智慧城市的發展。其實,早在古代我們就開始了對城市的觀察、監控和管理,並利用烽火臺進行通訊。只不過,今天我們使用的技術已經發展到了第四代視覺計算。第四代視覺計算的目標是將過去的「被動式防禦」變成「主動式預警」。

從「被動式防禦」變成「主動式預警」就涉及到決策,而決策又涉及多種多樣的任務和需求。

今天,我們視頻系統的能力還存在許多不足:

第一、當前的視頻系統組網複雜,難以維護,平臺不兼容的問題仍然明顯;第二、協議標準、數據標準不統一,設備的數據和編碼分散,兼容性非常差;第三、存在大量的信息孤島,無法統一管理;第四、AI晶片整體產能不足,分析效率有待提升。

這給我們做一個開放式的、AI賦能的平臺帶來了許多障礙。未來,如何將現有的數據和新增的數據進行關聯和引用是我們需要解決的問題。

我們知道,2014年AI就在人臉識別上超過了人類,但直到2018年這項技術才大規模落地,而且當時主要用到的是1:1人臉比對。人臉識別技術的場景化經歷了四五年,過程非常之艱難。但我認為,2019年將是AI場景化、規模化,或者說百花齊放的一年。AI將在社區、考勤、門店、終端等各個場景實現定製化。只有定製化的應用,才能把算法和數據有效結合,從而解決實際問題。

我們的「AI智能中臺」中有個硬體,叫做中間件。我們希望來自不同設備的、不同類型的視覺數據,通過網口連接到這個中間件後,就能夠在業務層和雲端的AI相結合。它起到的是連接智能的作用。

中間件主要可以解決幾個問題:一是開發的問題,不需要再針對現有的設備重新開發一套平臺;二是能夠兼容各種各樣的設備,插入之後在雲端打開一個網址就能看到所有我想要的東西;三是通過4G和5G將視頻進行有效傳輸,打破信息孤島;最後,我們希望這個中間件能夠變成數據的統一協議出口,對接後面的AI中臺。

我們的產品視接盒,它可以兼容目前大多數模擬和數字攝像機。無論何種編碼格式的數據都可以在這裡重新編碼、定位和傳輸,無縫對接AI、4G、北鬥等等。這是一個全新的硬體。

我們還提供視頻匯聚中臺,支持數據的定發、轉發,將數據推到阿里雲等各種業務應用場景。我們提供的解決方案主要面向智慧城市——包括車輛、人臉識別,智能製造、新零售等場景。其中,智能製造是工業史上的一個新命題。

目前,視頻結構化或者說目標檢測,依舊是一個非常難的問題,比如人的跨鏡頭追蹤,在公開數據集中的準確率只有88%,還有很長的路要走。

我們希望我們的中臺能夠支持多任務聯合計算。所謂多任務聯合計算,就是說一個神經網絡能夠同時完成目標檢測、場景解析和目標識別。

下圖是我們去年參加無人駕駛競賽的場景。在同一個模型上,我們能夠同時解決可行駛區域的解析,人、車、物的結構化檢測,還有車牌、車距和交通標誌的識別。

在這個任務中,我們使用了基於耦合自學習的神經網絡量化目標檢測引擎。我們通過AutoL的模型,和華為、海康、比特大陸等廠商的晶片,打造了基於AI中臺的神經網絡編譯器,能夠實現4比特甚至2比特的快速神經網絡計算,使它進行無損壓縮和自動量化,實現多重功能的聚合。

下圖展示了我們去年比賽的結果。在三項任務中,我們只用了一個10G算力的GPU,就達到了第二名4倍的總成績和10倍的計算速度。

我們的多任務同時優化算法可以使一個普通CPU實現1080P的全視頻結構化和檢測、追蹤。

下面介紹幾個具體的應用場景。以大家經常提的車輛識別為例,它跟人臉識別類似。我們經過十多年的研發,和交通部、公安部合作,取得了許多重大成果。

其實每輛車都有自己特定的身份。我們通常只知道自己車的款式,但依然能夠在茫茫車海中找到自己那輛,靠的就是車的身份識別。通過局部算法,我們能夠實現對車的精細化特徵——也就是車紋識別。我們在國際上做了一個目前最大的、針對電子警察和卡口的車輛數據集,叫Vehicle-1M。我們也將發布面向開放場景的更大的數據集,以實現在沒有車牌的情況下識別所有車的身份。

我們在神經網絡上做過驗證,發現每輛車的車窗部分都是有差異的。一輛車售出後,它的年檢標、紙巾盒、掛件等就構成了它在某個時間段的獨特身份。層級式注意力耦合網絡可以對它的這些特徵進行學習,實現很好的識別效果。當然這個過程也依賴於大數據的積累。

我們在全國大約6個省份推出了面向高速公路和靜態停車場的無感車輛收費系統。無需藉助車牌,就可以完成檢測、追蹤和收費的整個過程。我們甚至還能精細刻畫每個車的噸位、排放,從而在大城市依據不同道路情況對車輛的噸位和排放進行自動治理。

車輛識別在交通罰款領域也應用得非常多,不過還有很大的改善空間,需要跟場景進一步結合。

舉兩個例子。一個是今天交管發的一條新聞,說有個人在開車的時候摸了一下頭髮,被誤認為在打電話,被罰了款。如何精準地區分摸頭髮和打電話呢?這是個定製化的場景,目前誤報還非常多。

另一個是說,有輛車出了事故,拖車從應急車道把它拖走。結果攝像頭拍到它佔用應急車道,也罰了款。

上面兩個例子說明,算法跟場景和業務必須深度結合。AI作為視覺中臺,可以有效地提供AI算法,讓做服務的公司專心做好服務,做應用的公司專心做好算法和場景的結合。

無人值守路測停車也是一種常見應用,我們在雄安、通州和東莞都有落地。我們在一個杆子上裝上攝像頭,一個攝像頭可以看7-8個車位。車輛停進去後我們拍一張照片,等它走的時候再拍一張照片,通過計算兩張照片中間的時間間隔,再連接上交管APP就可以實現自動收費。

人臉識別

人臉識別大家都很熟悉,但其實它是個非常難的技術,尤其是在海量數據規模的情況下。算法在網絡數據集和實際場景中識別精度之間還存在著巨大的鴻溝。公開數據集中千萬分之一誤識率的算法,到了實際場景中識別精度可能只有66%。即使我們結合了身份等各種信息,算法在實際場景中的精度依舊很難提升。

人臉三維識別,也就是我們常說的側臉識別。近幾年通過GAN、渲染和幾何學的方法,三維數據有了爆炸式的增長。據我們驗證,在根據側臉生成正臉方面,幾何學+渲染的方法要勝過GAN。GAN對性能的提升其實非常有限,投入產出比很低,還不如派人力去採集大量數據。

此外,我們還結合了人體信息,相當於人體和人臉的聯合學習。這種方法最大的缺陷在於人體的不可靠性。在比較理想的情況下,我們可以清晰判斷兩個圖像是不是同一個人。但在遠距離、圖像比較小的情況下,數據標註是非常大的挑戰。我們甚至還融入了步態,將多種維度的信息進行融合,我們稱之為多維立體感知,通過這種方法解決開放式場景的無感人員管理。這是目前行業內的一大研究趨勢。

另外,我們還可以結合更多的信息,比如聯通和電信的數據、高鐵的數據、酒店的數據,在全省範圍查詢某個人的軌跡。下圖展示了我們在河南和湖北用到的一些方案。

我們的中間件目前已經推出,全國好多個地方都在用,我們希望它能夠在各個領域發揮巨大的價值。

在國家「雙創計劃」的鼓勵下,我們做科研的同時,也自主創業成立了一家公司「視語科技」。我們公司的願景就是,通過AI中臺讓這個世界更加溫暖。

關於中國人工智慧安防峰會

由雷鋒網 & AI掘金志主辦的「2019中國人工智慧安防峰會」,是業內極具影響力的AI安防論壇,致力於推動中國「AI-安防」落地融合與「學術-產業」的應用交叉。

延續上一屆峰會的高水準、高人氣,2019中國人工智慧安防峰會再度站在算法、工程和產品的最前沿,引導安防行業認知再升級。這是海康、大華、華為、阿里、騰訊以及多個AI獨角獸,因「AI安防」首次同臺,峰會現場也聚集了海內外1000多位政企管理層和技術研究員,共同探討2019年的AI安防智能技術部署、前沿算法應用與商業戰略布局。

本次峰會共設置「城市大腦與邊緣計算」、「世界頂尖算法應用」、「前端動態識別與智能視頻雲」、「城市AIoT與邊緣智能引擎」四大議題,出席的15位演講嘉賓分別是:

上午場:阿里巴巴華先勝、海康威視浦世亮、大華股份殷俊、地平線張永謙、深瞐科技陳瑞軍、商湯科技張果琲、浪潮商用機器張琪。

下午場:香港科技大學權龍、原松下(新加坡)研究院申省梅、華為餘虎、觸景無限肖洪波、曠視科技安洋、千視通胡大鵬、騰訊李牧青、中科院自動化所王金橋。

相關焦點

  • 夏日專刊AI產品上新升級集錦,50餘項軟硬能力加速場景落地
    七八月50餘項能力的開源開放及升級,是夏日火熱的積澱,希望可以幫助您更高效實現產業智能化應用落地,快來一同閱讀您最關心的內容吧。&hmsr=aibanner&hmpl=8.18 智能招聘方案新增簡歷畫像功能,開放邀測依託百度 TIC 團隊在招聘方向的深耕,同時結合百度自然語言處理、百度文字識別的 AI 能力,提供多項招聘功能。
  • 15位產業領袖縱論中國AI現狀:價值重估,落地為王
    他認為AI技術公司要放平心態,有服務意識,落地為王,更加積極主動去幫助傳統業態實現變革。之前也有觀點認為AI技術公司像空軍,傳統場景公司如陸軍,配合作戰面臨挑戰。李開復同意類似比喻,但也強調:我們要接受,最後的元帥還是傳統的公司,我們的空軍還是給傳統公司賦能,提供價值的。
  • 全球三十大最佳 AI 創業公司公布
    科技巨頭大力推進技術研究和平臺建設,創業公司在摸索場景應用中快速崛起,早期項目也逐漸建立起自己的商業邏輯。Clarifai 提供 API 類型的工具,Clarifai 的視覺識別 API 可以識別超過 11,000 種不同內容的照片和視頻,公司同時也提供應用於特定領域的識別工具。Clarifai 有著多元化的客戶群體,從《財富》500 強公司到小型的開發團隊都是他們的服務對象,包括 Buzzfeed、Trivago、500px、StyleMePretty 等。
  • Roadstar.ai又添砝碼:自建模擬器,邁向運營深水區
    整個2016年,Waymo 總共在虛擬世界中行駛了25億英裡,相較於在公共道路上測試的300萬英裡,超出了幾個數量級。從Waymo 的例子可以看出,所有有志於以自動駕駛顛覆未來出行方式的企業,都會看到自動駕駛模擬器的重要性。此前在深圳、矽谷等等地進行了多次路測的Roadstar.ai,在攻克了現實路測的難題後,又往前邁進一步——自建模擬模擬器。
  • 盤點國內排名前十強智能客服ai電銷機器人品牌商家
    智能客服ai電銷機器人的強大功能優勢讓很多企業都讚不絕口,那麼相必很多人都對智能ai電銷機器的排名榜也是非常感興趣的,在這裡就由我來和大家分享下國內排名前十強智能客服ai電銷機器人品牌商家,供大家參考!
  • 漫畫翻譯、嵌字 AI,東京大學論文被 AAAI』21 收錄
    發論文、公開數據集、商業化一條龍在科研方面,目前該篇論文已經被 AAAI 2021 接收,研究團隊還開源了一個包含五部不同風格(幻想、愛情、戰鬥、懸疑、生活)的漫畫,所組成的翻譯評估數據集。/hyper.ai/datasets/14137在產品化方面,Mantra 計劃上線封裝好的自動翻譯引擎,不僅面向出版社提供漫畫的自動化翻譯與發行服務,也會發布面向個人用戶的服務。
  • AI助聊很神奇,抗衡google就靠它
    王海峰是百度人工智慧領域的領軍人物,他在人工智慧領域深耕近三十年,專注於人工智慧技術研究和應用轉化,尤其在自然語言處理領域成果卓著,是我國人工智慧領域的頂級專家。他2010年加入百度,帶領團隊打造百度大腦,在語言處理、視覺、深度學習等人工智慧關鍵核心領域取得巨大成果,打造國內首個自主創新、開源開放的深度學習平臺飛槳,領先谷歌率先發布的大規模神經網絡翻譯系統。
  • 深耕AI招聘|倍羅Bello的活法與使命
    技術出身,又在人力資源行業深耕近10年的李松毅看到了希望——終於可以用科技來解決招聘領域的痛點。他邀請了那臺「代號B」機器的CTO以及首席科學家加入Bello團隊,希望將這項技術帶入中國市場。那時的Bello團隊,只有8個人,研發中心位於美國波士頓。
  • 中科院蘇州醫工所籤約落地棗莊市中區
    與蘇州醫工所的緣分就在這樣的交流與碰撞中產生。▲啟迪之星(棗莊)團隊陪同棗莊經濟開發區黨工委書記趙琨一行到訪中科院蘇州醫工所天津工研院,交流合作事宜▲中科院蘇州醫工所科研處副處長程文播在「棗啟創業匯」2019醫養健康產業發展論壇中進行主題演講深耕主業,不務 「正業」。
  • 吳博:目標檢測集成框架在醫學圖像 AI 輔助分析中的應用 | AI 研習...
    醫學圖像分析中目標檢測任務的普遍性,使得開發目標檢測集成框架顯得必要。近日,在雷鋒網 AI 研習社公開課上,深圳市宜遠智能科技有限公司負責人吳博剖析了目標檢測已有的框架,重點分享如何對目標檢測框架進行改造,以便在醫學圖像分析中產生更好的效果。公開課回放視頻網址:http://www.mooc.ai/open/course/559?
  • AI是如何檢測色情片的?
    一個婚禮博客Clarifai使用其產品來進行自動化的內容審核,而以前負責審批圖像的編輯則轉向從事定性標記的任務。這並不是要降低自動化下真正的人力成本。人們必須對AI進行訓練,並對內容進行分類然後進行標記,以便AI能夠識別哪些不能或可能導致創傷後應激障礙(PTSD)。這才是未來應有的樣子:公司提供個性化,現成的解決方案,使其全部業務能夠在越來越多的數據上訓練更好的分類器。
  • 金山AI團隊:從理論突破到應用場景落地
    雷軍高度重視人工智慧的發展,2017年親自指導成立了金山人工智慧事業部。這所實驗室隱藏在海澱區小米科技園,集結一眾頂尖技術人才,以認知AI為核心,聚焦機器翻譯與閱讀理解。成立不過三年左右,便已在多個國際大賽中斬獲佳績。
  • 報名丨中關村火花系列活動——中科院自動化所成果項目路演
    中關村科技成果轉化「火花」系列活動將在中科院自動化所跟大家見面現在可以報名參加啦中關村科技成果轉化「火花」活動是在中關村管委會指導下,中關村技術經理人協會、高校院所、大企業、醫院、技術轉移機構、投資機構、中關村各分園等聯合舉辦的系列活動,旨在推動科技成果找到應用場景,實現技術供需對接,促進投融資、產業鏈、創業服務、空間載體、落地政策等資源要素融合支撐科技成果轉移轉化,加速項目落地發展。
  • 一眼萬年:AI眼底篩查為什麼能夠成為AI醫療中的「落地之王」
    像DeepMind聯合倫敦Moorfields眼科醫院合作推出的AI眼底篩查技術,能夠實現在30秒之內識別出數種疾病,被稱作DeepMind首個有望商業化的AI項目;而百度也曾高調向基層醫院捐贈數百臺AI眼底篩查一體機,讓技術以打包形式直接落地到應用場景中;AI醫療創業公司體素科技的「VoxelCloud-Retina眼底全病種篩查解決方案」目前在全國超過130家MMC(國家標準化代謝性疾病管理中心
  • CB Insights:2017全球AI企業100強(附下載) | 網際網路數據資訊網...
    不需要複雜的AI算法和技術,Bonsai 人工智慧引擎讓開發人員更高效地編碼,以更好地控制和優化硬體和軟體。15. Cape Analytics該公司使用人工智慧立即自動從地理空間圖像中提取恰當的屬性數據。這些數據可在全國範圍內獲得,並且很容易和保險公司和其他財產持有整合。16.
  • 人工智慧正確落地需遵循的路徑
    打開APP 人工智慧正確落地需遵循的路徑 中國ai網 發表於 2020-11-26 12:00:43   1.了解企業AI應用現狀   年初暴發的疫情,使得2020年成為人工智慧商業落地應用高速發展的一年。一方面,政策導向大力推動人工智慧新基建,連續釋放利好信號,刺激人工智慧產業發展;另一方面,得益於人工智慧對員工、產品和服務、運營及客戶四大領域的顯著賦能效應,市場規模持續走高。中商產業研究院數據顯示,預測2020年市場規模將突破700億元。
  • AI研究實力最強的25所高校,據NIPS2017論文數統計
    NIPS 2017在加州長灘舉辦,吸引了8000名參會者,從3240篇提交的論文中接收了679篇,接收率為21%。根據這679篇論文,統計得到以下結果。根據論文統計,全球TOP25的大學:1.Inria,法國國家信息與自動化研究所7. ETH Zurich,蘇黎世聯邦理工學院8. Duke U,杜克大學9.
  • ai文件用什麼軟體打開_ai文件怎麼打開
    打開APP ai文件用什麼軟體打開_ai文件怎麼打開 胡哥 發表於 2012-10-16 11:31:57 後輟為ai的文件是illustrator軟體(在廣告、印刷包裝方面使用的軟體)製作的矢量圖文件,而矢量圖的優點是如何放大圖像都不會產生馬塞克現象,即不會虛。
  • 「讓電影音效強化的SURROUND:ai,所有電影都要重新看一遍了...
    「SURROUND:ai」技術的AV產品,前年A系列所發布的旗艦前級處理器CX-A5200和合併式功放RX-A3080就率先應用了這個技術。為了讓不斷主機適應不斷進化的影音技術,Yamaha還在處理器的性能上進行了升級,三年多前的「RX-A3060」就是Yamaha第一臺內置64bit處理器的環繞放大器,處理能力更進一步提升,同時也是第一款搭載「SURROUND:ai」技術的AV環繞放大器。
  • 中臺商業案例首次入圍機器之心2019年度最佳AI應用榜單
    據了解,雲徙科技也是自評選開辦以來首個以數字中臺驅動商業增長應用案例入圍榜單的中臺服務品牌。本次評選與以往最大的區別在於,更重視產業的力量,從「企業服務」的角度而非「媒體」的角度來進行評選,重點關注人工智慧公司的產品、應用案例和產業落地情況,基於真實客觀的產業表現篩選出最值得關注的企業。