AI大覺醒:圖靈獎得主稱AI將產生意識,未來機器學習核心是注意力機制

2020-12-08 界面新聞

文|新智元

編輯|夢佳

人工智慧會產生意識嗎？

這是一直以來美劇《西部世界》中探討的問題。AI主人公覺醒，意識到這個世界是人類殺伐主宰的樂園，於是開啟了逆襲之路。

在本周舉行的2020年ICLR上，圖靈獎得主、蒙特婁學習算法研究所主任Yoshua Bengio對AI和機器學習的未來提供了最新的見解。他講到未來機器學習完全有可能超越無意識，向全意識邁進。而注意力機制正是實現這一過程的關鍵要素。

這位大咖2月份剛剛在紐約的2020年AAAI 會議上與圖靈獎獲得者 Geoffrey Hinton 和 Yann LeCun 一起發表了演講。而在ICLR的演講中，Bengio 闡述了他更早之前的一些想法。

注意力機制是啥？

注意力機制來源於人類的視覺注意力，是人類在進化過程中形成的一種處理視覺信息的機制。最簡單的例子，比如看一個圖片，會有特別顯眼的場景率先吸引注意力，因為大腦中對這類東西很敏感。

注意力是神經科學理論的核心，該理論認為人們的注意力資源有限，所以大腦會自動提煉最有用的信息。

在機器學習的語境下，「注意力」指的是一個算法關注一個或同時關注到幾個元素的機制。它是一些機器學習模型架構的核心。2017年，谷歌論文Attention is All You Need當中提出了Transformer，一個利用注意力機制來提高模型訓練速度的方法。Transformer在一些特定任務中性能表現超過Google之前的神經機器翻譯模型。

GoogleTransformer架構

目前，注意力模型（Attention Model）已經在自然語言處理、圖像識別以及語音識別等領域取得了最先進的成果，是深度學習技術中最值得關注與深入了解的核心技術之一。注意力模型也是構成企業AI的基礎，幫助員工完成一系列認知要求高的任務。

類比人類思維，靠直覺還是靠推理？

Bengio 在演講中談到了美籍以色列心理學家兼經濟學家 Daniel Kahneman 在他2011出版的開創性著作《思考，快與慢》中提出的認知系統。

第一種認知類型是無意識的（快系統），憑直覺，非常快速，非語言性的，基於慣性，它只涉及隱含的知識類型，是人潛意識中的知識，深藏於腦海中。

簡單說，這種過程不費腦子，第一反應，直覺地做出回應。比如說，思考1+1=2的過程。

當然這種直覺思考的過程會產生很多偏差，比如說曝光效應，光環效應等。曝光效應一個最明顯的例子就是電視廣告，天天重複播放的信息給你洗腦，會在人的大腦裡構成曝光效應，讓你覺得這個產品好。直覺很多時候是非理性的。

第二種認知類型是有意識的（慢系統），基於語言學和算法，要涉及更高級一些的推理和規劃，以及顯性的知識。換句話說，是需要費力思考的，比較慢，比如說腦內運算158乘以67。

正是快和慢的結合構成了我們人類的思維模式。

Bengio將這個人類的有意識思維和AI進行對比，他指出，有意識的認知系統的一個有趣特徵是，它可以在新的情境下，將語義概念進行重組，這也是人工智慧和機器學習算法所具備的特性。

某種程度上，AI和機器學習算法比人腦的直覺要更加理性。

這讓人想起《西部世界》的科學顧問，神經學家大衛·伊格爾曼（David Eagleman）說的一句話，意識，是一種突破程序設定的連接。我們能夠複製大腦的算法；如果這個算法等同於意識，那意識也理應可以被複製和轉移。

意識從無到有，未來AI不再「跟著感覺走」？

目前的機器學習方法還沒有完全超越無意識到全意識，但是 Bengio 相信這種轉變未來是完全有可能的。

他指出，神經科學研究表明，有意識的思維中涉及的語義變量往往是含有因果關係的ーー它們涉及的對象可控，比如說意圖。換句話說，不再跟著感覺走，是有邏輯和目的性在其中。

同時，語義變量和思維之間存在映射關係，例如詞語和句子之間的關係，而且已有的概念可以進行重新組合，形成新的、不熟悉的概念。

注意力正是實現這一過程的核心要素之一，Bengio 解釋道。

在此基礎上，他和同事們在去年的一篇論文中提出了循環獨立機制(recurrent independent mechanism，RIMs) ，這是一種新的模型架構，在這種架構中，多組單元獨立運作，相互之間通過注意力機制交流。前者保證了專業，後者保證了泛化。

實驗目標是，證明 RIM 能夠改善模型在不同環境和模塊化任務中的泛化效果。該研究不關注該方法是否超出高度優化的基線模型，而是想展示該方法面對大量不同任務時的通用性，且這些任務的環境是不斷變化的。

RIM 與 LSTM 基線模型的對比。在這 4 個不同實驗中，研究者對比了 RIM 和兩個不同的 LSTM 基線模型。在所有案例中，研究者發現 rollout 過程中，RIM 比 LSTM 更準確地捕捉到球的運動軌跡。

實驗結果表明，RIM具備專門化（specialization）特性，可大幅提升模型在大量不同任務上的泛化性能。

「這使得智能體能夠更快地適應分布的變化，或者... ... 推斷出變化發生的原因，」Bengio 說。

他又講到想要打造「有意識」的AI系統面臨幾大挑戰，包括訓練模型進行元學習(或理解數據中的因果關係) ，以及加強機器學習和強化學習之間的集成。但他相信，生物學和AI研究之間的相互作用最終將解開這把神奇的鑰匙，使這些機器可以像人類一樣推理，甚至表達情感。

「神經科學早已開始研究意識相關的問題了... ... 在過去的幾十年裡取得了很大進展。我認為現在是時候將這些進展納入到機器學習模型當中了。」Bengio在演講中表示。

看來西部世界中的世界也不遠了。

參考連結：venturebeat.com

相關焦點

  • 意識機器人即將來到,AI即將喚醒
    人工智慧到底有沒有意識，一直被人們爭論不休。最近圖靈得獎者Bengio宣稱，AI該覺醒了，人工智慧將跨越無意識，進入全意識階段，也就是人工智慧將同人類一樣具有完全的意識和智能。到目前國際上還沒有人這樣明確第宣稱AI的覺醒和復活。
  • 「獨家」圖靈獎得主姚期智出任Pony.ai首席顧問,將打造自動駕駛...
    剛剛從加州矽谷飛回北京的Pony.ai的高管團隊剛下飛機便趕來赴約，拜訪最頂級的學者和科學領袖、華人唯一的圖靈獎得主、中科院院士姚期智先生。對於Pony.ai的CEO彭軍來說，雖然多次見姚先生，但是每次來到他的辦公室前都有一種莫名的激動，感覺像來朝聖。CTO樓天城顯得更加激動，博士四年朝夕相處的導師的辦公室就在眼前。
  • 這可能是今年最硬核的AI交流會,李飛飛、圖靈獎得主Pearl等共同...
    雖然今年Bengio沒有出席，但是卻集結了李飛飛、圖靈獎得主Judea Pearl、強化學習泰鬥Rich Sutton、諾獎得主Daniel Kahneman等16位AI行業知名學者。去年辯論的主題是大數據和機器學習能否達到通用智能。而這次大會的主題是——AI辯論2：推進人工智慧。
  • 注意力機制想要覺醒AI,總共分幾步?
    然後，我不得不提到圖靈獎獲得者，蒙特婁學習算法研究所所長Yoshua Bengio所強調的「 AI喚醒」。在我們普及科學之前，一般的人工智慧有多遠。人工智慧如何在短短幾年內醒來？這必須從Bengio視為機器學習殺手的注意力機制開始。將意識注入機器：注意力機制增加了另一項任務腦極體的高級讀者應該熟悉注意力機制。
  • 圖靈獎得主稱自監督學習可使AI達到人類智力水平
    圖靈獎得主Yoshua Bengio和Yann LeCun在本屆2020 ICLR大會上發表觀點稱，自監督學習有望使AI產生類人的推理能力。Bengio相信機器最終將習得關於這個世界的各種知識，不需要機器去親身體驗，而是通過習得語言化的知識來實現。
  • 72歲圖靈獎得主姚期智院士創業,建立南京圖靈AI研究院
    雷鋒網獲悉，4月20日，計算機科學最高獎圖靈獎唯一華裔得主（截至2017年）、中科院院士姚期智率領清華團隊組建新型研發機構——南京圖靈人工智慧研究院。南京市委書記張敬華親自出席了研究院揭牌與項目籤約儀式。姚期智於2000年獲得計算機科學領域最高獎圖靈獎。
  • 中國學術力量:首屆華人帶頭的國際分布式AI學術會議將於北京召開
    此次會議由多位華人學者以及國際知名學者共同發起，其中，南洋理工大學安波（大會共同主席）、清華大學唐平中（程序委員會共同主席）、南京大學高陽（研討會主席）、MSRA 秦濤（工業論壇主席）、南京大學俞揚（贊助主席）、天津大學郝建業（宣傳主席）都在組織者之列，會議共同主席之一 Michael Wooldridge 是牛津大學計算機系主任、IJCAI 理事會前主席，圖靈獎得主姚期智院士任大會名譽主席並將做主旨報告
  • 圖靈獎得主大神之家:一家都是MIT博士,還聯合發了一篇AI論文
    最近，圖靈獎得主曼紐爾 · 布魯姆（Manuel Blum）和他的妻子萊諾爾 · 布魯姆（Lenore Blum）、他的兒子阿夫裡姆 · 布魯姆聯合發表了一篇論文，展示了他們對於有意識的AI的研究成果。優秀是不是真的會遺傳？
  • 往屆諾獎得主看AI:人工智慧挑戰人類科研 幫材料學家篩選新材料
    AI未來走向何方？諾獎得主怎麼看編者按：第三屆世界頂尖科學家論壇將於10月30日-11月1日在上海舉行。包括61位諾貝爾獎得主在內，近140位諾貝爾獎、圖靈獎、菲爾茲獎、沃爾夫獎、拉斯克獎等全球頂尖科學獎項得主出席。論壇期間將有130餘場科學家獨立演講、70餘場主題峰會，大部分活動將通過網絡向公眾直播。
  • NeurIPS 2019讓圖靈獎得主做你的導師
    NeurIPS 2019讓圖靈獎得主做你的導師 滾動企業創業科技品牌商業創新信息商訊行動商業合作：17733203660投稿NeurIPS無門路？
  • 圖靈獎得主Raj Reddy:要理解AI還要一萬年
    首頁 > 快訊 > 關鍵詞 > 圖靈獎最新資訊 > 正文 圖靈獎得主Raj Reddy：要理解AI還要一萬年
  • 對話圖靈獎得主姚期智:AI 的突破口在算法,中國的機會很大
    姚期智作為圖靈獎唯一的華人獲獎者、現任清華大學交叉信息研究院院長、中國科學院院士、美國科學院外籍院士，也是清華「姚班」的創辦人，他為人低調，但其門生早已遍布國內外 AI 產業和計算機科學研究的各個關鍵領域。
  • ACM宣布深度學習三巨頭共同獲得圖靈獎
    聚焦AI，讀懂下一個大時代！【網易智能訊3月28日消息】昨日晚間，ACM（國際計算機學會）宣布，有「深度學習三巨頭」之稱的Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同獲得了2018年的圖靈獎，這是圖靈獎1966年建立以來少有的一年頒獎給三位獲獎者。
  • 圖靈獎得主本吉奧：機器學習賦能智慧型手機追蹤新冠肺炎
    2018年度圖靈獎得主、蒙特婁大學計算機科學教授Yoshua Bengio（約書亞·本吉奧）通過在線的方式帶來演講，他的演講主題是機器學習賦能智慧型手機預測新冠疫情傳染性風險。Yoshua Bengio（約書亞·本吉奧）是人工智慧領域的深度學習學者，被稱為加拿大AI「黑手黨」之一，與Geoffrey Hinton和Yann LeCun並稱為「深度學習三巨頭」。
  • AI 將非洲人標記為大猩猩:機器學習之路還有多長?
    但是最近出現的許多案例顯示，就像所有顛覆性技術那樣，機器學習被引入的同時，也出現了許多意想不到的挑戰，有時候甚至產生錯誤、令人討厭的、冒犯性的後果，與人類社會信奉的道德和倫理標準截然不符。這些故事聽起來可能很有意思，但它們卻促使我們反思AI技術對未來產生的影響。將來，機器人和AI將承擔起更重要的責任，甚至將為它們做出的錯誤決定負責。
  • 2019年度圖靈獎得主厲害在哪?
    有「計算機界諾貝爾獎」之稱的圖靈獎2019年度得主揭曉。 當地時間3月18日，國際計算機協會（ACM）宣布，美國計算機科學家艾德文·卡特姆（Edwin E.
  • 這7位圖靈獎得主
    這7位圖靈獎得主，竟然今日才入選ACM Fellow，他們可是程式設計師「祖師爺」7位圖靈獎得主計算機科學許多基礎研究的關鍵是ACM研究員。要知道，ACM—美國計算機協會是世界著名的重要計算機組織，會員是其重要榮譽之一。計算機領域的諾貝爾獎由ACM頒發。今天（2021年1月14日），當ACM新選出的研究員名單公布時，七位靈魂獎得主的名單令人驚訝。
  • 給圖靈獎得主當「皮條客」的億萬富翁,與他操縱的科學網絡
    愛潑斯坦的「科學朋友圈」令人震驚，他與史蒂芬·霍金、喬治·丘奇、史蒂芬·平克等聲名顯赫的科學家在不同場合談笑風生，也向麻省理工學院、哈佛大學捐款資助科研；已故的人工智慧先驅、圖靈獎得主馬文·明斯基，則直接被指控經由愛潑斯坦組織，性侵未成年少女……通過金錢與性交易，愛潑斯坦編織起複雜的人際關係網，並試圖在科學這個特定的圈層中施加自己的影響力。
  • 讓我來告訴你 為什麼AI不會產生「意識」
    有沒有一些理論或者猜想可以觸發AI覺醒這個話題呢？有沒有一些理論或者猜想，讓我們不會雲裡霧裡或者一腔熱血地想像人工智慧的未來？巧合的是，確實有一些這樣的理論，比如說著名的「中文房間悖論」。這個情景猜想在大部分情況下都被用來否定「圖靈測試」。但它更深層的本意，其實是在闡釋人工智慧永遠不可能像人類那樣擁有自我意識。