2018,一文看盡AI發展真相

2020-12-14 虎嗅APP



2018年,人工智慧熱度不減,成果不斷。


雖然少了去年動輒「超越人類」的銳氣,但「輔助人類」的人工智慧,如今究竟發展到什麼程度?就讓我們在2018即將結束的時候,來一個簡單的回顧。


拋開劑量談毒性是耍流氓,拋開數據集和特定任務談人工智慧進展也一樣。「state of the art.ai」是MIT和UNAM的學生做的一個網站,收進了目前最優的算法,涵蓋了計算機視覺、遊戲、自然語言處理、網絡圖和知識庫、程序歸納和程序合成、音頻處理、時間序列處理七個領域。



下面,我們就根據已經發表的科研論文,先來看看計算機視覺和自然語言處理這兩大AI領域的情況。


計算機視覺:3D/3D Reconstruction


「3D」可以說是眼下CV領域最火的一個詞。今年各家智慧型手機宣傳裡都提到了「3D結構光」。那麼,3D視覺發展到了什麼程度?


2017年的CVPR,MIT、麻薩諸塞大學阿默斯特分校和谷歌DeepMind的研究人員展示了一項成果,使用自動編碼器,構建了一個名叫SingleVPNet的框架,能從多個視角的深度圖或其相應的輪廓學習生成模型,並使用渲染函數從這些圖像生成細節精緻的3D形狀。



不僅如此,他們提出的框架還能通過綜合不同視角的2D深度圖,生成新的3D形狀。


SingleVPNet在3D形狀數據集SharpNetCore上取得了平均誤差0.35的結果。換句話說,生成逼真的3D形狀還有一段距離。


補充,SharpNetCore是ShapeNet的一個子集,目前包括55個常見對象類別,約有51300個獨特的3D模型,每個模型都有手動驗證的類別和對齊注釋,由普林斯頓、斯坦福和豐田技術研究所的研究人員共同創建。


動作識別


動作識別指從視頻中識別不同的動作,這個動作可能貫穿整個視頻,也可能不會。動作識別是圖像識別的擴展,涉及從多幀視頻中進行圖像識別,然後從每一個幀中聚集預測結果。


2017年的NeurIPS,CMU機器人學院的研究人員Rohit Girdhar 和 Deva Ramanan 利用注意力機制,在保持網絡複雜度和計算量基本不變的情況下,在三個靜態圖像和視頻標準動作識別數據集上提升了動作識別的基準。其中,在MPII人體姿態數據集上取得了12.5%的相對改進。



不過,看絕對值,平均精度還停留在52.2個百分點上面。


人臉識別


根據美國國家標準與技術研究院今年11月16日公布的結果,在被譽為工業界「黃金標準」的全球人臉識別算法測試中,依圖科技以千萬分之一誤報下的識別準確率超過99%,繼續保持全球人臉識別競賽冠軍。


千萬分位誤報下的識別準確率超過99%,意味著更多核心關鍵的安防場景被解鎖。相比於去年同期,全球人臉識別性能提升了80%。


值得一提,在這份官方公布的報告中,中國人工智慧公司實力展現,依圖科技、商湯科技、曠視科技囊括了前十中的五席,加上排名第五的中國科學院深圳先進技術研究院,中國團隊已經超過半數,並穩穩「霸屏」前五,領跑全球人臉識別算法。


人體姿態估計


今年2月,上海交通大學盧策吾團隊MVIG實驗室AlphaPose 系統上線,是首個在 COCO 數據集上可達到 70+ mAP 的開源姿態估計系統。


今年9月,AlphaPose系統升級,採用 PyTorch 框架,在姿態估計標準測試集COCO validation set上,達到 71mAP的精度,同時,速度達到了20FPS。


AlphaPose系統,是基於上海交大MVIG組提出的 RMPE 二步法框架構建的,相比其他開源系統在準確率有很大提高,比OpenPose相對提高17%,Mask-RCNN相對提高8.2%。 


升級後,各個開源框架在COCO-Validation上性能、時間在單卡1080ti GPU測出指標如下:


開源系統


準確率


平均速度


Openpose(CMU)


60 mAP


12 FPS


Mask-RCNN(Facebook)


67 mAP


5 FPS


Alphapose(SJTU)


71 mAP


20 FPS



圖像分類


計算機在圖像分類任務上的精度早已超越了人類,因此當前圖像分類精度的最好成績,往往是其他研究的副產物。ICLR 2017,谷歌大腦 Barret Zoph 和 Quoc V. Le 發表了「Neural Architecture Search with Reinforcement Learning」,他們用強化學習自動搜索神經網絡結構,最終AI自己設計出的模型,在 CIFAR-10數據集上做圖像分類取得了96.35%的精度。



或許令人意外,圖像分類目前最好的結果是 Facebook AI Research 的 Benjamin Graham,在他2015年的Arxiv論文「Fractional Max-Pooling」中得到的,經過100次測試後在CIFAR-10上的誤差僅為3.47%。這篇論文提出了一種新的 fractional max-pooling 方法,降低了各種數據集上的過擬合。


圖像生成


說到圖像生成,那自然就是生成對抗網絡。


GAN在今年不斷發展,今年ICLR DeepMind 提出的 BigGAN,可謂當前最強圖像生成模型,在128x128解析度的ImageNet上訓練,BigGAN的 Inception 分數可以達到 166.3 ,Frechet Inception 距離9.6。





關於BigGAN更詳細的介紹看這裡。


未來GAN還能提升到什麼程度,值得期待!


圖像分割


是的,圖像分割王者是何愷明等人2017年提出的Mask-RCNN,mAP值26.2。



2018年8月,密西根大學和谷歌大腦的研究人員合作,提出了一種圖像語義分層處理框架,可以實現像素級別的圖像語義理解和操縱,在圖像中任意添加、改變、移動對象,並與原圖渾然一體,實現真正的「毫無PS痕跡」。


雖然相關論文還未經過同行評議,但是根據上述研究人員在Arxiv論文匯報的結果,他們在圖像分割上更勝一籌。



自然語言處理:分類/語義相似度/語法/電影評論/語義等價/問答/實體識別


BERT這個名字近來在NLP領域可謂是紅紅火火。


10月13日,谷歌AI團隊新發布的BERT模型,在機器閱讀理解頂級水平測試SQuAD1.1中表現出驚人的成績:全部兩個衡量指標上全面超越人類!並且還在11種不同NLP測試中創出最佳成績,包括將GLUE基準推至80.4%,MultiNLI準確度達到86.7% 等。


谷歌團隊的Thang Luong直接定義:BERT模型開啟了NLP的新時代!



BERT的新語言表示模型,它代表Transformer的雙向編碼器表示。與最近的其他語言表示模型不同,BERT旨在通過聯合調節所有層中的上下文來預先訓練深度雙向表示。因此,預訓練的BERT表示可以通過一個額外的輸出層進行微調,適用於廣泛任務的最先進模型的構建。


如前文所述,BERT在11項NLP任務中刷新了性能表現記錄!在此舉出其中一項結果。






總體而言,BERT模型在NLP領域中的多項任務取得目前最佳效果,包括分類、語義相似度、語法、電影評論、語義等價、問答、實體識別等等。


常識推理


在常識推理方面,目前取得最先進水平的是Antonio Lieto等人於2017年發布的文章:Dual PECCS: a cognitive system for conceptual representation and categorization。


當然,該篇文章的結果在概念分類準確率上目前最佳,為89;但在Dev和Test準確率方面,目前依舊BERT模型結果最佳,分別為86.6和86.3。


機器翻譯


在機器翻譯任務中,目前取得最佳結果來自於Zhen Yang等人於今年4月在Arxiv上發布的文章:



該文章的算法主要結合了Transformer+BR-CSGAN,在BLEU上取得的評分結果為43.01,為目前最佳結果。


自然語言推斷


在自然語言推斷任務中,目前最佳結果來自於Yichen Gong等人於今年5月在Arxiv上發布的文章:



該論文採用的算法是DIIN,在準確率方面目前為89.84,目前處於最佳水平。


以上是計算機視覺和自然語言處理兩個領域的最新發展情況。想要了解AI其它領域中各任務目前取得的最佳結果可以參考如下連結:https://www.stateoftheart.ai/。


               

相關焦點

  • 一文讀懂深度學習中的矩陣微積分,fast.ai創始人&ANTLR之父出品
    這位ANTLR之父和fast.ai創始人Jeremy Howard一起推出了一篇免費教程,旨在幫你快速入門深度學習中的矩陣微積分。簡明,易懂。DeepMind研究科學家Andrew Trask評價說:如果你想跳過不相干的內容,一文看盡深度學習中所需的數學知識,那麼就是這份資源沒錯了。只需一點關於微積分和神經網絡的基礎知識,就能單刀直入,開始以下的學習啦。
  • 一文看盡2019年NLP前沿突破
    它發表於2018年末,自那之後的一年,NLP和NLU(自然語言理解)領域有了較大的發展。那麼,以BERT的發布作為時間節點,本文便梳理了一下在此之前和之後,NLP領域的重要項目和模型。https://ai.googleblog.com/2017/08/transformer-novel-neural-network.htmlELMo於2018年2月提出,利用預訓練好的雙向語言模型,然後根據具體輸入從該語言模型中可以得到上下文依賴的當前詞表示,再當成特徵加入到具體的NLP有監督模型裡。
  • ICML進行時|一文看盡獲獎論文及Google、Facebook、微軟、騰訊的最新科研成果
    今天,第35屆 ICML 大會在瑞典的斯德哥爾摩正式召開,與大家一同分享這一領域在這一年裡的突破。ICML 2018 共有 2473 篇論文投稿,共有 621 篇論文殺出重圍入選獲獎名單,接受率接近25%。其中 Google 強勢領跑,Deep Mind 、FaceBook和微軟也是精彩紛呈;而在高校中 UC Berkeley 和 Stanford 、CMU 以近 30 篇榮登 Top 榜。
  • 2018 公開課盤點應用篇:面向 AI 開發者,「猿桌會」帶你看各路大神...
    本次分享不僅輕鬆有趣,還為大家帶來了一籮筐的乾貨,成為 2018 年度排名前幾的「猿桌會」公開課。的 Wit.ai 等),使用這些服務往往需要向服務提供商提供自己的數據,並且根據自己業務調試模型很不方便。
  • 「斑馬AI」的前世今生:從發展路徑看產品啟示
    本文主要回顧『斑馬AI課的發展歷史』,看看它在不同時期,是怎樣應對市場環境和競爭,抓住發展機遇的。不過當時1.0.0版的ai互動,在功能設計上主要體現在口語評測功能上,和市場上一些口語測評工具細到音素的做法相比,比較簡單,主要採用的是用星級等級來做評價。相對於AI互動和跟讀評測的噱頭,家長選擇繪本APP更關注的則是「內容」。斑馬從一開始並未採用市面上的常見玩法(比如搜羅知名繪本自己做配音加工,亦或是和牛津閱讀樹等出版機構聯合製作)。
  • 一文讀懂深度學習中的矩陣微積分
    這位ANTLR之父和fast.ai創始人Jeremy Howard一起推出了一篇免費教程,旨在幫你快速入門深度學習中的矩陣微積分。簡明,易懂。DeepMind研究科學家Andrew Trask評價說:如果你想跳過不相干的內容,一文看盡深度學習中所需的數學知識,那麼就是這份資源沒錯了。
  • AI最大的進展是沒有任何進展?11專家深刻解讀2018年AI發展及來年預測
    KDnuggets今年採訪了11位人工智慧領域的專家,詢問了他們有關例如「2018年數據科學和分析領域的主要發展是什麼?你預計2019年的主要趨勢是什麼?」等問題,來回顧和展望人工智慧(AI)及機器學習(ML)的發展。這些專家挑選出的關鍵主題包括深度學習的進步、遷移學習、機器學習的局限性、自然語言處理領域的變化等等。
  • 文在寅:應查明「光州事件」真相
    (觀察者網訊)韓聯社5月17日報導稱,在即將迎來「五一八光州民主化運動」40周年之際,韓國總統文在寅當天做客光州MBC特別企劃節目《文在寅總統的五一八》。他重申必須查明光州民主化運動時是誰下令向民眾開槍並問責。
  • AI/機器學習2018年度進展綜述
    -2018-roundup-db52f7f96358AI/機器學習2018年度進展綜述對我來說,在每年的這個時候來總結機器學習的進展已經成為一種慣常(例如我去年在Quora上的回答說到解釋性,這一領域的一個亮點可能是關於Anchor的論文及代碼的發布,它們是著名的LIME模型的同一作者的後續。
  • 深度 | 致研究者:2018 AI研究趨勢
    本文略有不同,Alex Honchar在Medium發文,從研究者的角度分享機器學習明年發展的走向。機器之心對此行了編譯和整理。本文的預測基於 2012 年以來我關注的學術界和科技巨頭實驗室的研究思路演變。我所選擇的領域,從我的觀點來看,都多多少少尚處於發展的初級階段,但是已經為研究做足了準備,且在 2018 年可能獲得良好的結果,並在 2019-2020 年能投入實際應用。
  • 德勤全球AI發展白皮書出爐!八大新趨勢,三個關鍵技術一文掃盡
    ▲全球人工智慧應用技術專利佔比(截至2018年上半年)階段一:近期, 超越人類的人工智慧技術從IBM DeepBlue到OpenAI Five, 小到棋牌、 辯論、 電子競技, 大到醫療、 教育領域,「人機大戰」 兼具驗證企業技術實力和推動人工智慧科普引發更多受眾關注的雙重任務
  • 「AI簡史」從1950到2020
    事實上,給一門學科界定範圍是很難的,即使是像數學這樣古老的學科,有時我們也很難梳理出一個明確的邊界。而對於一門正在快速發展的學科,尤其像人工智慧這樣仍在不斷擴展邊界,更是很難做出一個相對準確的判斷。 另一方面,AI 的實用性極強,是一種極具代表性的多元跨專業學科。
  • 連尚文學領投推文科技 AI翻譯促網文出海引關注
    特別是AI人工智慧翻譯促進網文出海的做法和成績,引得包括中央電視臺《新聞直播間》、北京衛視《北京新聞》等媒體紛紛予以聚焦。中央電視臺《新聞直播間》採訪連尚文學CEO  隨著中國網絡文學的蓬勃發展,網絡文學「走出去」工作經過多年的實踐,已經較為專業。
  • 德勤全球AI發展白皮書出爐!八大新趨勢,三個關鍵技術一文掃盡【附...
    ▲全球人工智慧應用技術專利佔比(截至2018年上半年)階段一: 近期, 超越人類的人工智慧技術從IBM DeepBlue到OpenAI Five, 小到棋牌、 辯論中國政府十分關注這一問題, 制定了多項有利政策支持半導體行業的發展。3、 中國機器人企業快速成長核心零部件技術國產化加速機器人研發與應用已經成為衡量一國科技發展水平的重要因素, 未來經濟的增長在很大程度上與機器人行業的發展息息相關。
  • AI防癌地圖不斷展開 醫學科研發展的速度也越來越快
    有資深業內人士曾表示,投機者「走一步看一步」,有理想的創業者「走一步看百步」。相比於很多醫療公司終日困惑的商業化問題,素有「AI四小龍」之稱的依圖醫療希望在AI+醫療賽道上實現「異道超車」。依圖醫療副總裁方驄博士表示,依圖醫療則側重智能醫療與診斷的領域,且產業化才是推動智能醫療健康發展的根本。
  • 連尚文學領投推文科技 AI翻譯促網文出海引主流媒體關注
    特別是AI人工智慧翻譯促進網文出海的做法和成績,引得包括中央電視臺《新聞直播間》、北京衛視《北京新聞》等媒體紛紛予以聚焦。中央電視臺《新聞直播間》採訪連尚文學CEO隨著中國網絡文學的蓬勃發展,網絡文學「走出去」工作經過多年的實踐,已經較為專業。
  • 2019 年 1 月 AI 最佳網文榜單最新出爐!
    該團隊發布了一個叫做 GANpaint 的 APP,為觀測這一現象帶來了可能。通過激活神經網絡中特定的神經元簇,你可以在圖畫中畫出門、樹或者雲。這個 demo 非常棒!不過如果你試圖在天空中畫一扇門,這是無法實現的——因為這個生成式對抗網絡也學到了:在天空中畫一棵樹、一扇窗或門是沒有意義的。這項操作值得一試,大家不妨動手嘗試一下。
  • 一文全面揭示代餐的真相-虎嗅網
    那麼,關於代餐的真相究竟是怎樣的?10月,丁香醫生數據研究院發布了《代餐行業營銷洞察報告》,這份結合丁香醫生的專業營養學知識與用戶數據的報告,為我們觀察代餐行業提供了全面的視角。FBIF將為您帶來報告的首發解讀。
  • AI基礎:一文看懂BERT
    年可謂是自然語言處理(NLP)的元年,在我們如何以最能捕捉潛在語義關係的方式  來輔助計算機對的句子概念性的理解 這方面取得了極大的發展進步。,包括但不限於 Semi-supervised Sequence Learning (by Andrew Dai and Quoc Le), ELMo (by Matthew Peters and researchers from AI2 and UW CSE), ULMFiT (by fast.ai
  • 打開人工智慧黑箱:看最新16篇可解釋深度學習文章,帶您了解增強AI透明性
    Vol. 19, No. 1, page 27-39, 2018http://www.zhuanzhi.ai/paper/cc8b59ceb80123200f202301e1a81e2fInterpretable Convolutional Neural Networks.