李飛飛團隊最新論文:提出新網絡,學習新策略,讓AI通過視覺觀察實現因果歸納

2021-03-02 量子位
魚羊 發自 凹非寺
量子位 報導 | 公眾號 QbitAI

所謂因果,作為一個人類,你肯定並不陌生。

銀杏葉黃了,是因為寒露已至。你的肚子開始咕咕叫,是因為晚飯時間到了。

因果推理這個詞看上去並不日常,但事實上,這是人類在與現實世界進行交互時必不可少的能力。

對於AI來說,因果推理能力同樣很重要。隨著深度學習模型在各個領域取得巨大成功,其缺失因果推理能力的問題也逐漸暴露。沒有正確的因果模型,這些機器學習方法的泛化就很成問題,比如,給圖像生成說明的模型有時候會生成一些脫離實際的說明文字。

如此AI,顯得很不智能。

圖靈獎得主Judea Pearl就曾指出,機器學習的突破口在於「因果革命」。

現在,李飛飛團隊帶來了他們在因果推理方面的最新研究:

讓人工智慧在視覺觀察中逐步生成因果圖,並有選擇性地根據誘導圖來決定行動。

所以,他們是怎麼樣賦予AI因果推理的能力的呢?

兩個階段

對於AI而言,因果歸納和推理是兩個不同的階段。

比如說,進入一個有許多燈的陌生房間,在不事先了解布線的情況下,想要開燈,就得先試試各個開關,理清開關和燈之間的對應關係。

AI觸發開關的第一階段,就是因果歸納。在這一階段,智能體通過執行動作並觀察結果,來發現潛在的因果關係。

第二階段是因果推理,智能體使用已獲得的因果關係來決定行動,以完成任務。

為了建立有效的因果歸納和推理計算模型,必須在測試時完成對新的因果關係和新任務目標的概括。

第一階段,李飛飛團隊採用因果歸納模型,根據智能體的觀察數據構建因果結構,即隨機變量的有向無環圖

這裡採用的新技術,是迭代因果歸納網絡。

迭代因果歸納網絡

從原始的感官觀察中歸納出因果結構,需要準確地捕捉每個行為對環境的獨特影響,同時考慮其他行為的混雜影響。

研究團隊假設,最能概括因果關係的歸納網絡將是一個能分解單個動作及其對應效果的網絡,並且只更新因果圖的相關成分。

在迭代模型中,首先假設因果結構的邊緣權重為0(即沒有因果關係),並將觀測數據的每個幀映射到一個編碼。

然後,計算跨時間步長的狀態嵌入之間的差異(即,狀態殘差),並將其與相應的動作關聯起來。

這些數據被餵給邊緣解碼器模塊(the Edge Decoder),該模塊負責預測邊緣更新,以及用于衡量邊緣更新如何應用於節點的注意力向量。

最後,應用基於當前圖的更多邊緣更新,並輸出最終的預測圖。

第二階段,使用因果結構將目標條件策略置於背景之中,以執行指定目標的任務。因果結構的構造是顯式的,這樣,在long-horizon任務中,新的問題實例能更好地泛化。

研究團隊提出了基於注意力的圖編碼的目標條件策略(goal-conditioned policy)。

學習目標條件策略

這一策略的目的是給定一個初始圖像,一個目標圖像,以及預測的因果結果,在規定時間步長內完成既定目標。

輸入數據是當前圖像,目標圖像和預測因果圖。假設最佳策略專注於學習因果圖中與當前任務步驟相關的邊緣。

將當前圖像和目標圖像進行編碼。基於這一編碼,輸出因果圖中「效果」上的注意力向量,從而提取相關邊緣。然後,將其與圖像編碼對應起來,預測最終動作。

實驗

新方法效果如何,還是要用實驗說話。

迭代因果歸納網絡(ICIN)的比較對象,是使用時間卷積的非迭代歸納模型(TCIN)和不帶注意力機制的ICIN。

在絕大部分實驗條件之下,李飛飛團隊的方法(藍條)都要優於對照組。

One More Thing

學會因果推理的AI,有什麼用呢?

李飛飛團隊曾經造出這樣一隻AI,能「窺見未來」。

一個人從車後繞來,他是誰?要去哪兒?想幹什麼?

這隻AI不僅「預知」了線路,還答出了「開門」這個正確答案。

對於人類而言,做出這樣的預測並不難,以特定目的為導向,了解一個人的目的,就能推測他要去哪兒要做什麼。

同樣,對於AI而言,學會了因果推理,在完成目標導向任務時,就能事半功倍。

李飛飛團隊

論文一作,是斯坦福在讀博士Suraj Nair,曾在谷歌大腦實習。

他師從Silvio Savarese教授,也就是李飛飛的丈夫。

論文的另一位作者是Yuke Zhu是斯坦福SVL實驗室(Stanford Vision and Learning Lab)的一員,該實驗室由李飛飛,Silvio Savarese和Juan Carlos Niebles主導。

Yuke Zhu今年8月剛從斯坦福博士畢業,將於2020年秋季入職德州大學奧斯汀分校。

李飛飛和她的丈夫Silvio Savarese為論文的另外兩名作者。

論文地址:

https://arxiv.org/abs/1910.01751

作者系網易新聞·網易號「各有態度」籤約作者

量子位MEET 2020智能未來大會啟幕,將攜手優秀AI企業、傑出科研人員呈現一場高質量行業盛會!詳情可點擊圖片:


2019中國人工智慧年度評選啟幕,將評選領航企業、商業突破人物、最具創新力產品3大獎項,並於MEET 2020大會揭榜,歡迎優秀的AI公司掃碼報名!

相關焦點

  • 浙大畢業,李飛飛高徒朱玉可加盟UTAustin,曾獲ICRA2019最佳論文
    今年 6 月,朱玉可在史丹福大學的博士論文答辯後,與李飛飛等人合影。雖然朱玉可還沒有開始任教,但你很可能已經聽過他講課了。在史丹福大學期間,朱玉可還參與了一些課程的教學工作——其中包括著名的 CS 231N:視覺識別中的卷積神經網絡。此外還有 CS 131、CS 193C、CS 431 等。
  • 李飛飛團隊新研究,場景中識別物體屬性,連表面紋理都識別出來了
    這就是李飛飛團隊新研究。我們知道,卷積神經網絡在識別視覺對象方面很出色,但還不能很好的識別出物體的具體屬性,比如表面形狀、紋理等。而最近,李飛飛團隊的最新研究——Learning Physical Graph Representations from Visual Scenes,就一舉解決了這個問題。
  • 李飛飛團隊從動物身上get AI新思路,提出RL計算框架,讓機器在複雜環境學習和進化
    這是李飛飛團隊的最新研究。在過去6億年中,動物在複雜的環境中學習與進化成各異的形態,又利用進化的形態來學習複雜的任務。如此周而復始的學習與進化,造就了動物的認知智慧。但其中環境複雜性、進化形態和智能控制的可學習性之間的關係原理仍然難以捉摸。
  • 李飛飛團隊最新研究,真實場景中識別物體具體屬性,連表面紋理都...
    這就是李飛飛團隊新研究。 我們知道,卷積神經網絡在識別視覺對象方面很出色,但還不能很好的識別出物體的具體屬性,比如表面形狀、紋理等。 而最近,李飛飛團隊的最新研究——Learning Physical Graph Representations from Visual Scenes,就一舉解決了這個問題。
  • 如何加入李飛飛帶領的Google AI中國團隊?-虎嗅網
    其中,雲端機器學習產品經理這個崗位已經「下架」,而「上新」的崗位是:學生協作研究員。當然,你最好「具備自然語言理解、神經網絡、計算機視覺、機器學習、深度學習、優化的算法基礎、數據科學、數據挖掘和/或機器智能(人工智慧)方面的課堂或工作經驗」。所有詳細的崗位要求,可以前往Google招聘頁面查看:careers.google.com 。
  • 李飛飛卸任斯坦福AI實驗室負責人,NLP領軍人物Manning接任
    新智元報導 來源:Stanford AI Lab編輯:李靜怡,肖琴【新智元導讀】剛剛傳來消息,深度學習NLP領軍人Chris Manning教授將接替李飛飛出任斯坦福人工智慧實驗室(SAIL)負責人。李飛飛教授將繼續擔任斯坦福視覺與學習實驗室(SVL)負責人,以及新成立的斯坦福以人為本人工智慧研究院共同院長。
  • 西交出身,辛書冕獲CVPR 2019最佳論文,李飛飛團隊獲經典論文獎
    結果顯示,華人幾乎包攬了最佳論文、最佳學生論文和最具影響力論文獎,分別由來自CMU的辛書冕等人、加州大學聖巴巴拉分校的王鑫等人和李飛飛團隊等人摘得! 華人包攬三大獎項第一作者 此次 CVPR 獲獎論文中有三大獎項的第一作者均有華人在列,包括最佳論文、最佳學生論文和最具影響力論文獎,辛書冕、王鑫、李飛飛等眾多華人的名字出現在獲獎者名單中讓人欣喜又印象深刻。
  • 這可能是今年最硬核的AI交流會,李飛飛、圖靈獎得主Pearl等共同探討AI未來
    雖然今年Bengio沒有出席,但是卻集結了李飛飛、圖靈獎得主Judea Pearl、強化學習泰鬥Rich Sutton、諾獎得主Daniel Kahneman等16位AI行業知名學者。去年辯論的主題是大數據和機器學習能否達到通用智能。而這次大會的主題是——AI辯論2:推進人工智慧。
  • 李飛飛提出深度進化強化學習新框架:創建具身智能體學會動物進化法則
    最近,李飛飛和其他幾名學者提出了一個新的計算框架——深度進化強化學習——Deep Evolutionary Reinforcement Learning (DERL),基於該框架,具身智能體可以在多個複雜環境中執行多個任務。
  • 李飛飛斯坦福CS231n,原來學霸們都是這麼學的
    雷鋒網(公眾號:雷鋒網)按:偷偷刷了好多遍李飛飛主講的斯坦福3 月 28 日起,雷鋒字幕組聯合 AI 慕課學院推出 3 期以「斯坦福深度視覺識別課CS231n」為主題的 Live 實戰分享課。(原創代碼+論文解讀+場景應用+實用套路)雷鋒網本次活動邀請到來自 CHISON 醫學影像、BIGO LIVE、某金融科技的 3 位資深算法工程師,分享他們的視覺識別實戰經驗。
  • 美國播客節目《指數視角》專訪李飛飛:疫情、AI 倫理、人才培養
    在學生學習代碼與算法之前,讓他們先融入生活 在 AI 技術發展早期,技術專家們並未考慮到技術的迅猛發展,會對當今人類社會造成什麼影響。 基於歷史經驗,李飛飛認為今後應該更多地將技術與人文因素聯繫起來。
  • AI Debate2 | 李飛飛提「AI北極星」,卡尼曼指「系統 1」理解有誤
    猶記得去年 Gary 與 Yoshua Bengio 針對深度學習能否實現通用人工智慧的激烈辯論。在本屆 AI Debate 中,Bengio 沒來,卻換來了 16 位業內知名大咖,包括Judea Pearl、李飛飛、Daniel Kahneman、Ken Stanley等人。
  • 李飛飛卸任是怎麼回事?李飛飛是誰為何二次出走?
    而這已經是半年內李飛飛做的第二次「告別」,也讓這位華裔女科學家此後的研究方向備受全行業關注。回歸斯坦福後,李飛飛啟動「以人為本」新項目今年 10 月 20 日,李飛飛在推特上宣布正式開啟以人為中心的AI計劃「HAI」。這是她離職谷歌回歸斯坦福後,正式公布的第一個新項目。
  • 神經符號系統、因果推理、跨學科交互,李飛飛、Judea Pearl等16名學者共同探討AI未來
    緊接著,圖靈獎獲得者、貝葉斯網絡之父、暢銷書《為什麼》的作者 Judea Pearl 發表了主題為「The Domestication of Causal Reasoning」的演講。他表示深度學習是個金礦,「我為推動因果革命而打造的新引擎可以表示心理狀態的計算模型,即『深度理解』」。」Pearl 表示,深度理解將成為回答「What is?」、「What if?」
  • 李飛飛等人的新研究,或將讓「給AI打工的人」再一次失業
    上周,來自約翰·霍普金斯大學、史丹福大學和 Google 的專家聯合發布了一篇論文,介紹了他們使用神經網絡來自動搜索神經網絡,將其投入圖像分割方面的研究,並且取得的重要進展:研究人員採用神經架構搜索 (Neural Architecture Seartch, NAS) 技術設計了一個神經架構 (A),放任它去自動搜索/設計出新的神經架構
  • 獨家專訪 | 騰訊AI Lab公布首項研究:提出獨特神經網絡實現實時...
    機器之心原創作者:老紅、李亞洲風格變換一直是機器學習領域內的一項重要任務,很多研究機構和研究者都在努力打造速度更快、計算成本更低的風格變換機器學習系統,比如《怎麼讓你的照片帶上藝術大師風格?李飛飛團隊開源快速神經網絡風格遷移代碼》、《谷歌增強型風格遷移新算法:實現基於單個網絡的多種風格實時遷移》。
  • 她,18歲,李飛飛三度公開表揚,高中時NIPS獲獎,創造「AI手術教練」
    這個報導被李飛飛點讚,而且在自己的Twitter上特地發文表揚——而這,已經是李飛飛第三次公開表揚這位小姑娘了。她叫Amy Jin,今年18歲。哈佛大一新生。高中時期,她依靠一篇用AI給外科醫生打分的NIPS Workshop論文,成為李飛飛最喜歡的學生之一,並斬獲一系列大獎。
  • 李飛飛再次告別!卸任斯坦福AI Lab負責人後,她只做一件事!
    回歸斯坦福後,李飛飛啟動「以人為本」新項目今年10月20日,李飛飛在推特上宣布正式開啟以人為中心的AI計劃「HAI」。這是她離職谷歌回歸斯坦福後,正式公布的第一個新項目。具體而言,這一項目由李飛飛和斯坦福前教務長John Etchemendy共同主導,主要工作方向有三個:1、推進和發展下一代AI科學(著重於腦科學和認知學交叉);2、研究和預測AI對人類社會和生活的影響;3、設計和實現以人為本的AI技術和應用。
  • 學界 | 精細識別現實世界圖像:李飛飛團隊提出半監督適應性模型
    近日,史丹福大學李飛飛團隊提交的論文在減少數據依賴和提高識別細粒度程度等問題上向前邁進了一步。該論文已被 ICCV 2017 大會接收。圖像識別的終極目標是識別真實世界中的所有物體。更加艱巨的任務則是精細識別——細分同一類別的物體(如不同種類的鳥、不同品牌的汽車)。目前的業內最佳細粒度分類方法專注於全監督學習方式:由人類注釋圖像,對所有感興趣的類別進行監督訓練。
  • ECCV 2020最佳論文講了啥?作者為ImageNet一作、李飛飛高徒鄧嘉
    蕭簫 發自 凹非寺量子位 報導 | 公眾號 QbitAI作為計算機視覺三大頂會之一,備受矚目的ECCV 2020(歐洲計算機視覺國際會議)最近公布了所有獎項。其中,最佳論文獎被ImageNet一作、李飛飛高徒鄧嘉及其學生摘得。