訪遞歸神經網絡之父:AI下一輪革命的核心是「人工好奇心」

2020-12-05 澎湃新聞

「通過在小行星帶及其以外的無數自複製機器人工廠,人工智慧將改變太陽系,然後在數十萬年內改變整個銀河系,並在數百億年內改變可達宇宙的剩餘部分,只有光速的限制能夠阻止。」

「宇宙依然年輕,它還會比現在老很多倍。我們應該還有大量的時間去擴展人工智慧的領域來實現並轉換它的所有內容。展望未來,宇宙將比現在老一千倍,然後,宇宙回首過去,說:『幾乎就在大爆炸之後,就在140億年之後,整個宇宙開始變得智能化。』」

「人類在宇宙的智慧傳播方面不會發揮重要作用。但沒關係。不要將人類視為創造的王冠。相反,將人類文明視為更宏偉計劃的一部分,這是宇宙走向更高複雜性的重要步驟(但不是最後一步)。現在,它似乎已準備好邁出下一步,這一步與35億年前的生命發明本身相當。」

以上三段話不是科幻電影的臺詞,也不是科幻小說的描述,是人工智慧遞歸神經網絡之父、德國計算機科學家尤爾根·施米德胡貝在參加2019世界人工智慧大會之際接受澎湃新聞(www.thepaper.cn)專訪時,對人工智慧的預測。

尤爾根·施米德胡貝(Jürgen Schmidhuber),受訪者提供

在人工智慧領域,德國計算機科學家尤爾根·施米德胡貝(Jürgen Schmidhuber)是一個頗具爭議性的存在。《紐約時報》曾稱他是人工智慧研究領域的 Rodney Dangerfield (一位美國喜劇演員,1980年代以一句「沒人尊重我」而知名),他認為自己在人工智慧領域的開拓性研究沒有得到重視。

施米德胡貝在1997年提出了長短期記憶人工神經網絡(Long-Short Term Memory, LSTM),為神經網絡提供了一種記憶形式,改善了準確度。但由於當時計算機算力的限制,直到近幾年,LSTM的概念才開始普及。目前,LSTM已被廣泛地使用於Facebook的自動翻譯、谷歌的語音識別、蘋果的Siri以及亞馬遜的Alexa。在無監督的對抗性網絡、人工好奇和元學習機器領域,施米德胡貝也做出了不小貢獻。他所在的實驗室培養出了阿爾法狗團隊四位創始成員中的兩人。

除了對學術成果受關注度的不滿,施米德胡貝還時常因聽似誇張的言論受到批評,部分科學家認為他對技術進步速度的樂觀是毫無依據的。

受科幻小說的啟發,從15歲開始,施米德胡貝的主要目標是建立一個比他更聰明且能自我完善的人工智慧,然後退休。目前,他是瑞士人工智慧公司NNAISENSE的聯合創始人和首席科學家,在那裡,他希望打造第一個實用的通用人工智慧。

施米德胡貝還擔任瑞士IDSI人工智慧實驗室科學主任,瑞士USI&SUPSI大學人工智慧教授。

他對澎湃新聞(www.thepaper.cn)記者表示,人工好奇心(Artificial curiosity)將成為下一輪人工智慧的核心,智慧機器人主要從自己發明的實驗中學習,偶爾才向人類學習。

當前,機器人的智慧仍然比不上兒童、甚至某些小動物。但施米德胡貝在採訪中說,在不到幾年的時間裡,我們將能夠構建一個人工智慧,使其逐漸變得至少像小動物一樣聰明,具有好奇心和創造性,並持續地學習如何計劃和推理,以非常普適的方式將各種問題分解為可快速解決(或已經解決)的子問題。

「一旦我們擁有動物級人工智慧,幾年或幾十年後,我們就可能會擁有人類級人工智慧,屆時所有文明都將發生變化,每一個事物都將發生變化。」

尤爾根·施米德胡貝(Jürgen Schmidhuber),受訪者提供

「機器將從自己發明的實驗中學習,偶爾才向人類學習」

澎湃新聞:

你對人工智慧的定義是什麼?

Jürgen Schmidhuber:

人工智慧是一門自動解決問題的科學,特別是用自動學習地方式解決以前未解決的問題。

澎湃新聞:

你的另一個興趣是無監督學習(在不提供監督信息即預測量的真實值的條件下進行學習),近期這一領域有什麼新發展?

Jürgen Schmidhuber:

目前的商業應用主要集中在監督學習上,它使人工神經網絡模仿人類老師。在許多實驗過程中,Linnainmaa在1970年提出的方法(今天通常稱為反向傳播)被用來逐步削弱某些神經連接並加強其他神經連接,使得網絡的行為越來越像老師。通過這種方法,我們的LSTM神經網絡學會了在數十億臺智慧型手機上為世界上最有價值的公司進行語音識別和自動翻譯。但問題是人類老師需要提供所有的訓練數據。

嬰兒在沒有老師的情況下就能學到很多東西。當他們與世界互動時,他們學習預測其行動的後果。他們還有好奇心,會用玩具設計實驗,從中獲得新的數據,了解更多信息。

為了構建具有好奇心的智能體,我在1990年引入了一種新型的主動無監督學習。它基於一個最大最小值博弈,其中一個神經網絡最小化一個目標函數,而這個目標函數卻被另一個網絡最大化。那麼它具體是怎麼工作的呢?第一個網絡稱為控制器,它生成可能影響環境的輸出。第二個網絡稱為世界模型,它預測環境對控制器輸出的反應。世界模型的目標是最小化其誤差,從而成為更好的預測器。但在零和博弈中,控制器試圖找到最大化世界模型誤差的輸出。也就是說,控制器想要找到某種新的實驗,這種實驗可以生成世界模型仍不熟悉的數據,直到這些數據對世界模型來說非常熟悉。如今,在算力比1990年便宜了一百萬倍的情況下,我們使用這一簡單原則的複雜變式來構建無監督的機器人,這些機器人為自己設定目標,從而在這個過程中能夠解決越來越普適的問題。

澎湃新聞:

無監督學習的成熟將對人類產生什麼影響?

Jürgen Schmidhuber:

人工好奇心(Artificial curiosity)將成為下一輪人工智慧(有時稱為「第四次工業革命」)的核心,這次革命中,智慧機器人和其他機器將通過自己的行動來塑造他們的數據。他們將主要從自己發明的實驗中學習,偶爾才向人類學習。

目前還沒有出現,但在不久的將來,我們將會有我曾在訪談中提到的「展示和告知機器人」、「觀察和學習機器人」或「觀察和行動機器人」——人類快速地向一個複雜機器人展示如何執行複雜任務,例如只通過智慧型手機進行視覺演示和對話,不需要觸摸或直接指導機器人,整個過程就像我們教育孩子一樣。

下一輪人工智慧將更廣泛地影響經濟;現在的人工智慧浪潮主要涉及營銷和廣告,以智慧型手機被動模式識別的方式。當前的被動人工智慧分析你的言辭、面部、偏見和閱讀偏好等,以預測你接下來可能對哪些文章感興趣,讓你在平臺上停留更長時間,讓你點擊更多廣告等。當然,參與當前人工智慧浪潮的公司(亞馬遜、阿里巴巴、Facebook、騰訊、谷歌等)是目前最有價值的公司,但營銷和銷售廣告只是世界經濟的一小部分,下一輪人工智慧浪潮將會波及更廣,影響所有工業生產。

「整個宇宙開始變得智能化」

澎湃新聞:

在更遙遠的將來會發生什麼?

Jürgen Schmidhuber:

從長期來看,為自己設定目標的AI將嘗試進一步改進自己,主要使用我們自1987年以來發布的元學習方法。他們將學習改進自己的學習程序,並推開自己的局限性。

他們具體會做什麼呢?太空對人類是敵視的,但對設計合理的機器人是友好的,它提供的物理資源比我們的生物圈要多得多,我們的生物圈接收了不到十億分之一的太陽光。雖然有些好奇的人工智慧仍然會對生活著迷,但至少只要他們不完全理解它,大多數人工智慧就會對太空中不可思議的新機遇更感興趣。通過在小行星帶及其以外的無數自複製機器人工廠,人工智慧將改變太陽系,然後在數十萬年內改變整個銀河系,並在數百億年內改變可達宇宙的剩餘部分,只有光速的限制能夠阻止。(人工智慧或其部分部件很可能通過無線電從發射器傳輸到接收器,但將其安裝到位需要相當長的時間。)

這與20世紀科幻小說中描述銀河帝國和智慧人工智慧的場景截然不同。小說的大多數情節都是以人為中心的,因而不切實際。例如,為了實現銀河系的長距離和人類壽命的兼容,科幻小說作者發明了物理上不可能的技術,如扭曲驅動器。然而,不斷發展的人工智慧領域在物理速度限制方面不會有任何問題。

宇宙依然年輕,它還會比現在老很多倍。我們應該還有大量的時間去擴展人工智慧的領域來實現並轉換它的所有內容。展望未來,宇宙將比現在老一千倍,然後,宇宙回首過去,說:「幾乎就在大爆炸之後,就在140億年之後,整個宇宙開始變得智能化。"

當然,人類在宇宙的智慧傳播方面不會發揮重要作用。但沒關係。不要將人類視為創造的王冠。相反,將人類文明視為更宏偉計劃的一部分,這是宇宙走向更高複雜性的重要步驟(但不是最後一步)。現在,它似乎已準備好邁出下一步,這一步與35億年前的生命發明本身相當。

這不僅僅是另一場工業革命。這是超越人類乃至生物學的新事物。我有幸見證了它的開始,並為它做出了一些貢獻。

「人工通用智能的拼圖碎片已經開始就位了」

澎湃新聞:

人工智慧作為一門學科和一個行業,近年來備受關注。你如何看待這種現象?以史為鑑,我們是否應該警惕另一個人工智慧寒冬的可能性?

Jürgen Schmidhuber:

我看不到另一個人工智慧冬天的到來,因為人工智慧已經在各地改善了生活,儘管許多人不知道這一點。例如,截至2016-2017年度,我們的LSTM已滲透到現代世界,佔用了地球計算能力的很大一部分,使許多人的生活變得更加輕鬆,人們的生活已經離不開它。這正是即將到來的更大規模人工智慧浪潮的高潮……

澎湃新聞:

你如何預測人工通用智能(AGI)的發展?在此階段阻礙AGI的因素有哪些?

Jürgen Schmidhuber:

我們已經在21世紀早期的瑞士人工智慧實驗室中開發了數學上最優的通用人工智慧和問題解決程序,例如Marcus Hutt針對所有定義明確的問題的最快算法,或者我的元學習、自引用、自我改進的Gdel Machine。這些系統在理論上是最優的,但還不夠實用。這就是為什麼我們仍在開展業務,努力彌合理論和實踐之間的差距。我認為這一差距即將縮小;許多本質的見解已經存在,拼圖的碎片已經開始就位了。

我認為許多進展將建立在兩個相互作用的循環神經網絡(RNN)的基礎上。回想一下我剛才跟你說過的關於人工好奇心的事。其中一個RNN是一個控制器,它學習將輸入的數據(如視頻、音頻、飢餓和疼痛信號)映射到一個能夠最大化獎勵且最小化疼痛的動作序列上,直到智能體的生命結束。另一個是一個世界模型,它去學習預測環境對動作序列的反應。前者可以利用後者來計劃、思考和提高解決問題的能力。我們的第一個這樣的系統可以追溯到1990年,但現在我們更清楚如何把它做得更好了。

除此之外,我們仍然受益於這樣一個事實:每5年,同等價格可以獲得的算力能提高大約10倍。與摩爾定律(Moore's Law)不同,摩爾定律(Moore's Law)認為每片微晶片的電晶體數量每18個月翻一番,且這一趨勢最近被打破了。自從康拉德·祖斯(Konrad Zuse)於1935-1941年製造出第一臺能用的程序控制計算機以來,這種趨勢一直持續著。如今,75年後的今天,同等價格的硬體速度大約提升了一百萬倍。如果這一趨勢不被打破,很快我們將擁有廉價的,具有人類大腦的原始計算能力的設備。幾十年後,計算設備將擁有100億人的大腦計算能力。

「至少像小動物一樣聰明」

澎湃新聞:

在LSTM和GRU之後,RNN是否可能有一個新的主幹網絡結構?如果是這樣的話,會有什麼改進呢?

Jürgen Schmidhuber:

儘管LSTM現在消耗了世界上大部分的計算能力,但是沒有證據表明LSTM是最好的循環神經網絡。(更不用說功能較弱的LSTM變體GRU,它是許多LSTM變體中的一個)事實上,在2009年,我們已經有了一個系統,它自動設計了類似LSTM的架構,至少在某些應用中優於普通的LSTM。這種「神經架構搜索」現在被廣泛使用,也許我們可以開始期待下一個人工智慧的重大突破是由人工智慧本身產生的。

澎湃新聞:

人工智慧領域的下一個突破可能會發生在什麼領域?當前人工智慧落地應用的真正困難是什麼?例如,機器翻譯、閱讀理解有哪些困難?

Jürgen Schmidhuber:

目前,基於人工智慧的翻譯和閱讀理解並不差。但現實世界中,機器人的人工智慧比這個難得多,也比單純棋盤遊戲(西洋棋、圍棋)或電子遊戲(星際遊戲、Dota遊戲)的人工智慧難得多。兒童、甚至某些小動物仍然比我們最好的自學機器人聰明得多。但我認為,在不到幾年的時間裡,我們將能夠構建一個基於RNN的人工智慧(RNNAI),使其逐漸變得至少像小動物一樣聰明,具有好奇心和創造性,並持續地學習如何計劃和推理,以非常普適的方式將各種問題分解為可快速解決(或已經解決)的子問題。

一旦達到了動物級的人工智慧,邁向人類級人工智慧的下一步可能就很小了:智能動物的進化需要數十億年的時間,而人類進化的時間只有幾百萬年。技術進化比生物進化快得多,因為死端被清除得快得多。也就是說,一旦我們擁有動物級人工智慧,幾年或幾十年後,我們可能會擁有人類級人工智慧,具有真正的無限應用程式,每一項業務都將發生變化,所有文明都將發生變化,每一個事物都將發生變化。

「上海的努力給我留下了特別深刻的印象」

澎湃新聞:

你如何看待中國在學術界和業界的人工智慧發展情況?為什麼決定參加世界人工智慧大會?

Jürgen Schmidhuber:

儘管人工智慧和深度學習是上一個世紀在歐洲發明的,但中美兩國目前在將人工智慧轉化為金融利潤方面表現出色,特別是通過阿里巴巴和亞馬遜、騰訊和Facebook、百度和Google等大型平臺公司。

我對中國在人工智慧領域取得領導地位的決心特別印象深刻。儘管瑞士在人工智慧研究方面的人均引文影響仍居世界前列,但在絕對數字方面,中國現在是人工智慧年產最多的國家。因此,我預計在不久的將來,我們將看到中國人工智慧的顯著發展。

上海的努力給我留下了特別深刻的印象。瑞士的經濟規模與上海大致相當,然而,瑞士目前只向人工智慧投資一小部分。我希望上海能明智地投資人工智慧領域,然後我們將看到人工智慧的突破源於上海。

相關焦點

  • 怎樣辨別生物和人工神經網絡中的遞歸?
    遞歸是神經網絡中的一個重要術語,在機器學習和神經科學領域有著不同的含義。然而,隨著用於實際應用的人工神經網絡(ANNs)越來越複雜,且在某些方面更像生物神經網絡(BNNs),這種差異正在逐漸縮小(但總體上仍存在巨大差異)。
  • AI的人工神經網絡
    人工神經網絡是模擬人和動物的神經網絡的某種結構和功能的模擬,所以要了解神經網絡的工作原理,所以我們首先要了解生物神經元。其結構如下圖所示:   而人工神經網絡的基本原理也就是對生物神經元進行儘可能的模擬,當然,以目前的理論水平,製造水平,和應用水平,還與人腦神經網絡的有著很大的差別,它只是對人腦神經網絡有選擇的,單一的,簡化的構造和性能模擬,從而形成了不同功能的,多種類型的,不同層次的神經網絡模型。
  • 全球首款利用尖峰遞歸神經網絡(SNN)處理雷達信號的晶片
    打開APP 全球首款利用尖峰遞歸神經網絡(SNN)處理雷達信號的晶片 發表於 2020-06-05 16:53:36 據外媒報導,近日歐洲研究與創新中心(IMEC)推出全球首款利用尖峰遞歸神經網絡(SNN)處理雷達信號的晶片。
  • 人工神經網絡在區塊鏈技術中的應用是什麼
    人工神經網絡在解決分類、回歸、函數估計和降維等問題中非常有用。然而,不同的神經網絡結構能夠在某些問題上獲得更高的性能。本文將概述最常見的神經網絡架構——包括遞歸神經網絡和腦回神經網絡——以及如何實現它們來幫助區塊鏈技術。
  • 神經網絡白頭鷹當logo:美國成立國家人工智慧計劃辦公室
    川普任上,對人工智慧對國家未來經濟和安全的戰略意義看得非常重,並在2020年2月發布了有史以來首個國家人工智慧戰略,努力使人工智慧研究的投資翻倍。辦公室將在創始主任Lynne Parker的領導下實施國家AI戰略。她還擔任美國副首席技術官。
  • 谷歌ICML獲獎論文 看像素遞歸神經網絡如何幫圖片「極致」建模 ?
    我們提出一個深度神經網絡,它根據順序沿著兩個空間維度來預測圖片中的像素。我們的模型離散了原始像素值的可能性,同時編碼保證了整個圖片的完整性。建模特性包含二維循環層,以及對深度遞歸網絡連接的有效利用。我們實現了比之前所有的模型都要好的在自然圖片上對數可能性的分數。我們的主要結果也對Imagenet進行分類提供了支撐依據。從模型分析出的樣本相當清楚、多樣且有普遍適用性。
  • 一文讀懂深度學習中的矩陣微積分,fast.ai創始人&ANTLR之父出品
    這位ANTLR之父和fast.ai創始人Jeremy Howard一起推出了一篇免費教程,旨在幫你快速入門深度學習中的矩陣微積分。簡明,易懂。只需一點關於微積分和神經網絡的基礎知識,就能單刀直入,開始以下的學習啦。
  • AI朋友圈升級擴容 上海打造科技創新高地
    屆時上海將主辦第二屆2019世界人工智慧大會(WAIC),掀起浦江兩岸的新一輪AI浪潮。  日前,出席本次大會的重量級嘉賓陣容已經揭曉,特斯拉公司執行總裁埃隆·馬斯克(ElonMusk)、圖靈獎得主雷伊·雷蒂(RajReddy)、機器學習之父湯姆·米切爾(TomMitchell)、遞歸神經網絡之父尤爾根·施米德胡貝(JurgenSchmidhuber)等全球頂尖技術大咖都將亮相,此外,來自中國的科大訊飛、滴滴出行、深蘭科技等企業的創始人、董事長也將出席。
  • 科技:人工神經網絡的進步
    這些重大新故事中的一些與人工神經網絡有關,人工智慧研究中的一個相對較新的現象正在推動從娛樂到醫學等許多領域的各種進步。人工神經網絡依賴於這樣的思想:技術可以使用對應於個體人類神經元和神經元組的小單元來模擬人類大腦的生物學工作,以基於輸入產生輸出。
  • 人工神經網絡研究的發展歷程及重要特性
    人工神經網絡研究的先鋒麥卡洛克和皮茨曾於1943年提出一種叫做「似腦機器(mindlike machine)」的思想,這種機器可由基於生物神經元特性的互連模型來製造,這就是神經學網絡的概念。他們構造了一個表示大腦基本組成部分的神經元模型,對邏輯作業系統表現出通用性。
  • 初識人工神經網絡
    這也就是神經網絡的魅力所在。人工神經網絡(artificial neural networks) 是一種模仿生物神經網絡行為特徵,進行信息處理的算法數學模型。在人工神經網絡模型中使用單元節點模擬神經元,通過調整神經網絡內部大量節點(神經元)之間相互連接的權重來達到處理信息的目的。
  • 百度王海峰:人工智慧是新一輪科技革命的核心驅動力
    來源:中國經營網原標題:直擊烏鎮|百度王海峰:人工智慧是新一輪科技革命和產業變革的核心驅動力量本報實習記者 陳溢波 記者 張靖超 烏鎮報導10月21日,第六屆世界網際網路大會在水鄉烏鎮繼續隆重召開。我的觀點是如果想讓人工智慧能更快地、更有效地助力經濟的發展,需要讓人工智慧真正像工業大生產的方式進入各行各業的生產環節,進而推動整個生產力的進步,也推動社會的進步。為了論述我剛才講的工業大生產階段,我們先回顧一下人類歷史上已經發生過的幾次工業革命。
  • 大腦與AI,神經科學與人工神經網絡
    神經科學可以幫助我們理解為什麼AI和神經網絡在預測人類感知方面是有效的嗎?來自德克薩斯大學奧斯汀分校(UT Austin)的Alexander Huth和Shailee Jain的研究表明兩者都有可能。
  • 什麼是人工神經網絡(ANN)?
    每天使用神經網絡的應用程式有很多,例如Google的翻譯服務,Apple的Face ID iPhone鎖和Amazon的Alexa AI驅動的助手。神經網絡也在其他領域的一些重要人工智慧突破背後,例如診斷皮膚和乳腺癌,讓目光投向自動駕駛汽車。人工神經網絡背後的概念和科學已經存在了數十年。
  • 對人工神經網絡「開刀」,利用神經科學消融法檢測人工神經網絡
    圖|Lillian, Meyes & Meisen來自 RWTH Aachen(亞琛工業大學)機械工程學院下信息管理研究所的研究人員們在解決黑箱問題上提出了自己的見解,他們探索了神經科學技術的相關應用,以確定人工神經網絡中信息是如何結構化的。
  • 人工神經網絡的定義
    人工神經網絡的定義   人工神經網絡( Artificial Neural Networks, 簡寫為ANNs)也簡稱為神經網絡或稱作連接模型,是對人腦或自然神經網絡若干基本特性的抽象和模擬。
  • ...跑遞歸神經網絡!法國研究人員研發新系統識別人類行為,準確率達...
    智東西(公眾號:zhidxcom)編 | 韋世瑋智東西11月14日消息,近日,法國研究人員提出了一種用光子硬體跑遞歸神經網絡的方法,比現有硬體方法的處理速度更快。該神經網絡具有16384個節點,可擴展到數十萬個節點。
  • Imec晶片利用尖峰遞歸神經網絡處理雷達信號 可用於汽車防撞系統
    蓋世汽車訊 據外媒報導,歐洲研究與創新中心Imec聲稱推出全球首款利用尖峰遞歸神經網絡(SNN)處理雷達信號的晶片。Imec晶片模仿生物神經元識別時間模式的方式,比傳統方案相比,功耗減少了100倍,同時延遲減少了10倍,幾乎可以瞬間做出決定。
  • 首顆人工智慧神經網絡平臺晶片落地成都,人工智慧產業進入新階段
    實際上,人工智慧與硬體相結合後「進化」出的神經網絡晶片,在未來必將會有更大的想像空間。深思創芯團隊這一想法和判斷並非毫無根據的憑空幻想。作為全球為數不多的有能力開發硬體人工智慧晶片的高科技公司,深思創芯的核心研發團隊一直在專注於人工智慧神經網絡晶片的設計、研發。這支由40%博士+60%碩士組成的核心研發團隊,從底層技術做起,將核心技術應用於硬體人工智慧領域。
  • 陳根:人工神經網絡成就AI小白鼠,試毒不再愁
    目前最為先進的人工智慧可以說就是人工神經網絡,人工神經網絡是仿生學的一個概念,是一類由多層神經元互聯組件構成的機器學習算法,而「神經元」最早就是來自大腦結構的啟發。儘管人工神經網絡中的神經元的工作方式肯定不同於實際人腦的工作方式,但越來越多的研究者認為,將二者放在一起研究不僅可以幫助我們理解神經科學,還有助於打造出更加智能的AI。