除了深度學習 你還應該關注這 6 大 AI 領域

2021-02-16 軟體定義世界(SDX)

因為深度學習最近在語音識別、圖像識別等領域取得的突破,很多人都把人工智慧與深度學習混為一談。但深度學習只是AI的一方面,實際上還有其他一些AI的分支也正在取得進展,並且這些技術分支在很多領域都有極大的應用潛力。投資人Nathan Benaich系統地闡述了AI的6個值得關注的領域以及其潛在應用於相關的公司和研究人員,是分析和跟蹤AI的一篇很好的介紹文章。

提煉出一個能被普遍接受的適合於人工智慧(AI)的定義已經成為最近多次的話題之爭。一些人把AI重新貼上「認知計算」或者「機器智能」的標籤,而有的則不恰當地將AI和「機器學習」混為一談。這部分是因為AI不是一種技術。實際上它是包含了從機器人到機器學習等許多學科的一個廣泛領域。我們大多數人斷言,AI的終極目標是開發出能執行以往屬於人類智能範疇的任務以及認知功能的機器。為了實現這一點,機器必須能自動學習這些能力而不是對每一臺機器進行端到端的顯式編程。

從無人車到語音識別與合成,過去10年AI領域取得的進展之多令人讚嘆。在此背景下,AI已經成為越來越多公司與家庭的討論話題,他們認為AI作為一項技術不再需要20年的時間才能到來,而是認為這個東西現在已經在影響著自己的生活。的確,熱門媒體幾乎每天都會報導AI,而技術巨頭都在接二連三地闡述自己重大的長期AI戰略。儘管若干投資者和既有企業渴望理解如何在這個新世界中捕捉價值,但絕大部分還在抓破腦袋想搞清楚這一切到底意味著什麼。與此同時,政府正在與社會自動化的潛在影響作鬥爭(參見歐巴馬的告別演說)。

考慮到AI會影響到整個經濟,這場對話的參與者代表了開發或使用AI系統的各種意圖,不同的理解水平以及不同經驗程度。同樣地,一場有關AI的討論,包括問題,以及據此獲得的結論和建議等,這些東西應該以數據和事實而不是猜測為基礎,這一點是至關重要的。發表的研究、技術新聞公告、推測性的評論以及思想實驗把結果的潛在影響瘋狂地外推實在是太容易了(有時候是太令人興奮了!)。

以下是AI在對未來數位化產品和服務潛在影響能力方面尤其值得注意的6個領域。我將描述它們分別是什麼,為什麼重要,目前是如何應用的,同時還將提供攻關這些技術的公司和研究者的清單(但絕對不是詳盡的)。

強化學習是一種通過試錯法學習的範式,其靈感源自人類學習新任務的方式。在典型的強化學習設定裡面,一個代理會承擔在數位化環境中觀察其當前狀態的任務,並採取能讓自己被設定的累計長期獎勵最大化的動作。作為每次動作的結果,代理從環境接收反饋,這樣它就可以知道動作是促進還是妨礙了自己的進展。一個RL代理因此必須在對環境進行探索以找到累積獎勵的優化策略與探索實現所要達到目標的最佳策略之間做出權衡。這種辦法因為Google DeepMind在玩Atari和圍棋(Alphago)遊戲中的表現而變得流行。RL在現實世界的一個例子是Google數據中心在優化製冷效率當中的應用。Google的RL系統取得了將製冷成本降低40%的效果。在可模擬的環境(比如視頻遊戲)中採用RL代理的一個重要的天然優勢是訓練數據是可以生成的且成本極低。這與有監督的深度學習形成了鮮明對比,後者往往需要昂貴且在現實世界中很難獲得的訓練數據。

應用:多個代理以共同的模型在環境中以自己的實例進行學習,或者通過在相同環境下進行互動和相互學習,學習在像迷宮或者城市街道那樣的3D環境下為無人車進行導航,運用逆向強化學習通過學習某個人物的目標來概括觀察到的行為(比如學習駕駛或者賦予非玩家視頻遊戲角色以類似人類的行為)。

主要研究人員:Pieter Abbeel (OpenAI),David Silver,Nando de Freitas,Raia Hadsell,Marc Bellemare (Google DeepMind),Carl Rasmussen (劍橋大學),Rich Sutton (Alberta),John Shawe-Taylor (倫敦大學學院)等。

公司:Google DeepMind,Prowler.io,Osaro,MicroPSI,Maluuba/微軟,NVIDIA,Mobileye。

相對於用於分類或回歸分析任務的判別模型,生成模型學習的是訓練例子的概率分布。通過從這一高維分布中採樣,生成模型可以輸出新的類似與訓練數據的例子。這意味著,比方說,基於真實臉部圖像訓練出來的生成模型可以輸出類似臉部的合成圖像。要想了解這些模型如何工作的細節,可參見Ian Goodfellow精彩的NIPS 2016指南文章。他介紹的生成對抗網絡(GAN)架構,是目前研究界尤其熱門的方向,因為這種架構提供了一條通往無監督學習的道路。GAN有兩個神經網絡:一個是生成器,它會以隨機輸入噪聲作為輸入,接受合成內容(比如圖像)的任務;另一個是鑑別器,它會學習真正的圖像看起來是什麼樣的,然後接受辨別由生成器創造的圖像是真的還是假冒的。對抗訓練可被看成是一個遊戲,在這個遊戲裡面,生成器必須交替學習如何通過噪音來創造出逼真的圖像,逼真到鑑別器再也無法分清真偽的地步。這一框架正在被延伸到許多數據形態和任務當中。

應用:模擬未來可能的時間序列(比如說強化學習的任務規劃);超清晰圖像;通過2D圖像修復3D結構;對小型的帶標籤數據集進行歸納;從一個輸入推出多個正確結果的軟任務(比如預測視頻的下一幀);在對話接口(如聊天機器人)中創建自然語言;加密;當並非所有數據都帶標籤時進行半監督學習;藝術風格的變換;合成音樂和語音;圖像修復。

公司:Twitter Cortex,Adobe,Apple,Prisma,Jukedeck*,Creative.ai,Gluru*,Mapillary*,Unbabel。

主要研究者:Ian Goodfellow(OpenAI), Yann LeCun 和 Soumith Chintala(Facebook AI Research), Shakir Mohamed 和 A?ron van den Oord(Google DeepMind), Alyosha Efros(Berkeley)等。

為了讓AI能像我們人類一樣歸納不同的現實世界環境,它們必須能夠不斷學習新任務並記住如何在未來執行所有這些任務。然而,傳統神經網絡一般都不能記住此類任務序列。這一缺點的術語叫做災變性失憶(catastrophic forgetting)。之所以會發生這種情況,是因為在一個神經網絡中對於解決任務A很重要的權重在該網絡隨後受訓解決任務B時會發生變化。

不過有若干強大的架構能賦予神經網絡不同程度的記憶功能。這些就包括了長短期記憶人工神經網絡(LSTM,遞歸神經網絡的派生),這種網絡能處理和預測時間序列;為了自行學習複雜數據結構並在其中導航,DeepMind的可微神經計算機結合了神經網絡和內存系統,學習的彈性權重合併(elastic weight consolidation)算法,視之前在任務中的重要性不同,這種算法可放慢特定權重的學習;漸進性神經網絡( progressive neural networks),這種神經網絡可以學習任務相關模型的橫向聯繫,從而從此前學過的神經網絡中析取出有用的功能來執行新任務。

應用:可歸納到新環境的學習代理;機器臂空子任務;無人車;時間序列預測(比如金融市場,視頻,物聯網等);自然語言理解和下一個單詞預測。

公司:Google DeepMind,NNaisense(?), SwiftKey/微軟研究院, Facebook AI Research。

主要研究人員:Alex Graves, Raia Hadsell, Koray Kavukcuoglu(Google DeepMind), Jürgen Schmidhuber(IDSIA), Geoffrey Hinton(Google Brain/Toronto), James Weston, Sumit Chopra, Antoine Bordes(FAIR)。

深度學習模型因為需要龐大規模的訓練數據才能實現最好性能而引人關注。比方說, 讓參賽隊伍挑戰自己的圖像識別模型的ImageNet Large Scale Visual Recognition Challenge(ImageNet大規模視覺識別挑戰賽)擁有120萬張手工標記的訓練圖像,涵括了1000個對象類別。如果沒有大規模的訓練數據,深度學習就沒有辦法集中到優化設置上面,注入語音識別或者機器翻譯之類的那些複雜的任務就無法執行得好。當單個神經網絡用於端到端解決一個問題(也就是說,把說話的裸音頻錄音作為輸入然後輸出說話的錄音文本)時,這一數據需求只會越來越高。這跟用多個神經網絡各提供中間表示是不一樣的(比如說,裸語音音頻輸入→音素→單詞→錄音文本輸出)。如果我們希望AI系統解決那些訓練數據尤其具有挑戰性、成本又高、又敏感或者獲得又十分耗時的任務時,從較少例子(比如1次或0次學習)形成可學習優化解決方案的模型就很重要了。當針對小規模數據集進行訓練時,其挑戰包括過度擬合,處理異常值的困難,訓練和測試之間不同的數據分布等。一個替代的方案是用一個共同的流程將機器學習模型執行之前任務獲得的知識轉移過去以改善新任務的學習,這被稱為是遷移學習(transfer learning)。

一個相關問題是利用類似數量或者數量顯著減少的參數開發更小型的最新深度學習架構。其優勢包括更有效的分布式訓練,因為數據需要在伺服器之間進行溝通;從雲導出新模型到邊緣設備需要更少的帶寬;可以部署到內存有限的硬體,靈活性得到了改進。

應用:訓練淺層網絡學習模仿原本基於大型帶標籤訓練數據而訓練出來的深度網絡的表現;參數更少但表現與深度模型相當的架構(比如SqueezeNet);機器翻譯。

公司:Geometric Intelligence/Uber, DeepScale.ai, 微軟研究院, Curious AI Company, Google, Bloomsbury AI。

主要研究人員:Zoubin Ghahramani(劍橋大學), Yoshua Bengio(蒙特婁大學), Josh Tenenbaum(MIT), Brendan Lake(紐元大學), Oriol Vinyals(Google DeepMind), Sebastian Riedel(UCL)。

AI取得進展的一個主要的催化劑是圖形處理單元(GPU)被重新利用到了訓練大型神經網絡模型上面。GPU跟按序列進行計算的中央處理單元(CPU)不一樣,它提供了大規模的並行架構,可並發處理多個任務。考慮到神經網絡必須處理龐大(有時候還是高維)的數據,在GPU上面訓練要比在CPU上訓練快得多。這就是為什麼自2012年AlexNet(首個在GPU上實現的神經網絡) 發布以來GPU實際上已經成為淘金熱的鐵鏟原因。這方面NVIDIA一直處於領先地位,把英特爾、高通、AMD以及最近進入的Google甩在了身後。

但是GPU並不是專門用於訓練或推理的硬體;它們原來是為了替視頻遊戲渲染圖像而創造的。GPU具有很高的計算精度,但卻不是隨時之需,同時還遭遇了內存帶寬和數據吞吐量的問題。這為Google之類的大公司內部新型的初創企業和項目開放了競技場,使得後者可以設計和製造特殊的針對高維機器學習應用的晶片。新晶片設計有望實現的改進包括更高的內存帶寬,基於圖的計算而不是基於向量(GPU)或者標量(CPU),更高的計算密度,每瓦特的效率和性能提升。這令人興奮,因為AI系統顯然為它的所有者和用戶帶來了加速回報:更快更高效的模型訓練→更好的用戶體驗→用戶與產品的互動更多→創造出更大規模的數據集→通過優化改進模型性能。因此,那些能以更高計算效率和能效更快訓練並部署好AI模型的人將具備重大優勢。

應用:模型訓練更快(尤其是基於圖的訓練);以很高的能效和數據效率做出預測;在邊緣層(物聯網設備)運行AI系統;隨時偵聽的物聯網設備;雲基礎設施即服務;無人車、無人機和機器人。

公司:Graphcore, Cerebras, Isocline Engineering, Google(TPU), NVIDIA(DGX-1), Nervana Systems(英特爾), Movidius(英特爾), Scortex。

主要研究人員:未知

正如前面討論過那樣,AI系統訓練數據的生成往往是很有挑戰性的。此外,AI如果想在現實世界中發揮作用的話必須推廣到許多情況下也適用。而開發可模擬真實世界的物理結構和行為的數位化環境,可以為我們衡量和訓練AI一般智能提供試驗場。這些環境以裸像素的形式呈現給AI,後者然後採取行動以便解決被設定(或者學會)的目標。在這些模擬環境下訓練可以幫助我們理解AI系統時如何學習的以及如何對它們加以改進,但也能為我們提供有可能轉移到現實世界應用的模型。

應用:學會駕駛;製造;工業設計;遊戲開發;智慧城市。

公司:Improbable, Unity 3D, 微軟(Minecraft), Google DeepMind/Blizzard, OpenAI, Comma.ai, Unreal Engine, Amazon Lumberyard

研究人員:Andrea Vedaldi(牛津大學)

相關焦點

  • 深度學習框架 fast.ai 2.0 正式發布
    經歷了長久的等待之後,深度學習框架 fast.ai 2.0 版本終於正式發布了。fast.ai 課程,是為了踐行 Jeremy Howard 「讓深度學習不再酷」的承諾。這話的意思是也消除掉門檻,讓更多沒有高等數學和統計專業基礎的人,都有機會來了解和應用深度學習。關於這個事兒,我在《如何從零基礎學最前沿的 Python 深度學習?》一文中,給你介紹過。
  • 深度學習應用大盤點
    第一種理解大大低估了深度學習構建應用的種類,而後者又高估了它的能力,因而忽略了那些不是一般人工智慧應用的更現實和務實的應用。最好最自然的理解應該是從人機互動角度來看待深度學習應用。深度學習系統似乎具備近似於生物大腦的能力,因此,它們可以非常高效地應用於增強人類或者動物已經可以執行的任務上。
  • 吳恩達Deeplearning.ai課程學習全體驗:深度學習必備課程
    如果你完整地觀看了視頻,這些問題應該很容易回答。你也可以多做幾遍題,系統會保留測試成績最高分。  完成那門課程後,再完成 Jeremy Howard 精彩的深度學習課程(http://course.fast.ai)的第一部分。Jeremy 從上而下地講授深度學習,這對初學者是必要的。
  • 你應該了解的 6 個開源 AI 工具 | Linux 中國
    編譯自 | https://www.linux.com/blog/2018/6/6-open-source-ai-tools-know  作者 | Sam Dean 譯者 | qhwdw 💎 共計翻譯:131 篇 貢獻時間:250 天讓我們來看看幾個任何人都能用的自由開源的 AI 工具。
  • 打開人工智慧黑箱:看最新16篇可解釋深度學習文章,帶您了解增強AI透明性
    請關注專知公眾號(掃一掃最下面專知二維碼,或者點擊上方藍色專知)專知開課啦!《深度學習: 算法到實戰》, 中科院博士為你講授!從聲學、圖像到自然語言處理,深度學習在許多領域都取得了成功。然而,將深度學習應用於無所不在的圖數據並非易事,因為圖形具有獨特的特性。近年來,這一領域的研究取得了很大的進展,極大地推動了圖分析技術的發展。
  • 這是一份超全機器學習&深度學習網站資源清單(105個AI站點),請收藏!
    ,是深度學習從業者不錯的一個導航,歡迎使用!>AIQ (http://www.6aiq.com ): 機器學習大數據技術社區DataTau (https://www.datatau.com): 人工智慧領域的Hacker NewsMathOverflow (https://mathoverflow.net
  • 機器之心專訪吳恩達,深度學習課程項目Deeplearning.ai正式發布
    但是,即使像谷歌和百度這樣的公司也無法覆蓋這一領域的全部。所以,我認為讓深度學習社區發展壯大的最好方式就是創造更好的深度學習課程,讓越來越多的人接觸深度學習。據我所知,我之前的機器學習課程——也是全世界最熱門的機器學習課程,目前已經惠及了超過 180 萬人。而在 Deeplearning.ai,我們致力於讓更多人能夠獲得有關機器學習的課程。
  • 這是一份超全機器學習&深度學習資源清單(105個AI站點),請收藏!
    ,主流的都涵蓋到,是深度學習從業者不錯的一個導航,歡迎使用!>AIQ (http://www.6aiq.com ): 機器學習大數據技術社區DataTau (https://www.datatau.com): 人工智慧領域的Hacker NewsMathOverflow (https://mathoverflow.net
  • AI vs 深度學習 vs 機器學習:人工智慧的 12 大應用場景
    來源:dzone.com作者:Ajit Jaokar編譯:劉小芹【新智元導讀】在本文中,作者先探討了深度學習的特點和優勢,然後介紹了12種類型的AI問題,即:在哪些場景下應該使用人工智慧(AI)?更好的溝通者:設計改善現有的溝通任務AI 和深度學習對多種溝通模式有幫助,如自動翻譯,智能代理等。5. 新的感知:設計感知的任務AI和深度學習使更新的感知形式成為可能,如自動駕駛車輛。6. 企業 AI:AI與企業再造相符合。
  • 吳恩達Deeplearning.ai課程學習全體驗:深度學習必備課程(已獲證書)
    Deeplearning.ai 包含的內容作為深度學習先驅吳恩達的全新嘗試,Deeplearning.ai 是一個自下而上教你神經網絡原理的課程體系,同時淺顯易懂,處於初級-中級難度。這是經典的吳恩達風格,知識通過精挑細選的課程、長短合適的視頻與精準設置的信息塊共同呈現。
  • 深度學習真的可以零基礎入門嗎?
    他寫的教程和書,首重開發者最關心的具體模型的實現,對其背後的理論一帶而過,結果大受工程師的歡迎。如今, 「Machine Learning Mastery」 已成為業界最知名的 ML 教育品牌之一。關注雷鋒網的讀者應該也發現了,但凡 Jason 有符合國內讀者需求的技術教程,雷鋒網總在第一時間翻譯出來分享給大家。
  • 【最實戰在線課】Kaggle冠軍親自教你深度學習
    2012年以來,深度學習橫掃 AI 圈,成為計算機視覺(CV)、語音處理、自然語言處理等領域當中的大殺器,幾乎以一己之力掀起了迄今為止最強的一次 AI 風暴。現在問題來了,我們該怎麼才能快速掌握深度學習的基本知識,並上手應用呢?
  • 深度學習自學指南:6個月,從基礎知識到模型構建
    原作:Bargava安妮 編譯自 Medium量子位 出品 | 公眾號 QbitAI給你6個月的時間開始學習深度學習,能夠達到怎樣的程度?在這篇文章中,數據科學培訓老師Bargava就帶你半年入門深度學習。
  • 常用機器學習算法的目前主要有深度學習領域的各種模型及框架
    當前,ai人才的招聘主要分為兩大類:計算機系統方向人才和算法方向人才。初期培養的人工智慧人才多數是計算機系統方向的,這是相對而言最好的情況。因為計算機系統的人才可以參與到ai算法的具體實現工作中,從而在不遠的將來實現對ai算法的自主化升級。同時,這類人才也可以參與一些集成方向的工作,如人工智慧商業智能。
  • 12個領域,55部分, AI 學習資源全整理 | 資源
    這本書分為兩大部分,第一部分介紹機器學習基礎算法,每章都配備 Scikit-Learn 實操項目;第二部分介紹神經網絡與深度學習,每章配備 TensorFlow 實操項目。如果只是機器學習,可先看第一部分的內容。
  • 深度學習入門Fast.ai 2.0上線!自帶中文字幕,所有筆記、資源全部免費!
    賈浩楠 發自 凹非寺 量子位 報導 | 公眾號 QbitAIFast.ai,最受人們歡迎的MOOC課程和深度學習框架之一。重代碼而非數學,這讓不少使用Fast.ai的初學者稱霸各種Kaggle比賽。昨天,最新的Fast.ai 2.0版本上線。
  • 深度學習到頂,AI寒冬將至!
    深度學習塵埃落定當ImageNet有了很好的解決方案(注意這並不意味著視覺問題得到已經解決【1】),該領域的許多傑出研究人員(甚至包括一直保持低調的Geoff Hinton)都在積極地接受採訪,在社交媒體上發布內容(例如Yann Lecun,吳恩達,李飛飛等)。他們的話,可以總結為:世界正處在一場巨大的AI革命中。
  • AI/機器學習2018年度進展綜述
    更具體地說,在這一年裡,深度學習方法在從語言到醫療保健等不同於視覺的領域取得了前所未有的成功。事實上,很可能是在自然語言處理領域,我們看到了今年最有趣的進展。如果我必須選擇今年最令人印象深刻的AI應用程式,它們都是自然語言處理(而且都來自谷歌)。第一個是谷歌超級有用的智能架構,第二個是他們的雙工對話系統。
  • 被吳恩達新開的深度學習課程刷屏?我們幫你做測評
    > 董怡萱、寧雲州 一早醒來票圈被吳恩達的新課程刷屏了,離職百度的吳恩達6月份宣布創立Deeplearning.ai時僅僅曝光了一個logo和域名,頗為神秘,而就在昨天深夜,吳恩達發布博客稱,其初創公司deeplearning.ai將通過 Coursera 提供深度學習的最新在線課程。
  • 如何在6個月的時間裡掌握深度學習技能?
    在大概6個月的時間裡,學習、提高和促進在深度學習方面的工作是很有可能的。本文詳細介紹了實現這一目標的幾個步驟。  前提條件  -你願意在接下來的6個月裡每周花費10-20個小時。  -你具備一些編程技能。你應該能夠輕鬆地學會使用Python和雲計算技術。(如果你沒有Python和雲計算背景的話)。