像人類一樣預測物理世界有多難?新的機器學習方法正在攻克該難題

2021-01-09 DeepTech深科技

（《麻省理工科技評論》中英文版APP現已上線，年度訂閱用戶每周直播科技英語講堂，還有科技英語學習社區哦~）

特別感謝 MIT 博士生吳佳俊對本文的貢獻

麻省理工學院（MIT）腦和認知科學系教授約書亞·特南鮑姆 (Josh Tenenbaum) 是學校腦、思維、機器研究中心 (Center for Brains, Minds, and Machines) 智能發展研究方向的主任。這一跨學院、交叉學科的科研平臺致力於探索、解釋和複製人類的智能。

在今年的神經信息處理系統大會 (NIPS) 上，特南鮑姆與他的博士生吳佳俊發表了四篇論文，探討了智能體需要哪些基本認知能力才能夠探索世界，其中就包括辨別不同的物體，並且推斷該物體將會對施加於其的物理量做出怎樣的反應。

研究人員相信，通過一步步構建擁有上述能力的計算機系統，他們最終能夠幫助搞清楚關於人類在智力發展各個階段是如何使用哪些信息來處理問題的。在這個過程中，研究人員甚至可能得到一些用於研究機器人視覺系統的新思路。

「所有這些研究項目的共同主題，是讓計算機真正地試著感知物理」，特南鮑姆認為，「要做到這一點，計算機首先要恢復物體的完整三維形狀，並且分析這些物體身處的場景以及它們的關係，還有其物理特性比如質量和摩擦力，之後才能推斷這些物體將如何隨時間推移而變化。佳俊的四篇論文討論了整個問題。其中，三篇論文討論了如何能從視覺和聽覺數據中推斷出物體的物理結構，另一篇則討論了如何在上述數據的基礎上預測物體的表現。結合在一起，我們可以開始構建一些計算模型來更好地描述人類對於物理世界的認知。」

雙向而行

把所有四篇論文聯繫在一起的另一個因素是，他們運用了與眾不同的機器學習方法。機器學習是一種通過讓計算機分析大量訓練數據來讓執行計算任務的技術。在一個傳統的機器學習系統中，用於訓練的數據被事先標記好，系統會嘗試學習分析這些數據的特徵與哪些標籤相關聯。而評價機器學習的一個標準是，計算機正確標記出了多少事先未被標記的數據。

在他們的論文中，系統被訓練用於推斷世界的物理模型——例如推斷某個大部分都隱藏在視野之外的物體的三維形狀。之後模型被反向運用，使用系統輸出的模型再合成輸入數據，並且通過重建的數據與原始數據相匹配的程度來評價系統的推斷水平。

比如說，構建的三維模型需要分析並剝離出所有擋住對象的遮蔽物，還要濾除掉該對象的視覺紋理，反射和陰影，並且要能夠推斷出視野之外的對象形狀。當吳佳俊和特南鮑姆的系統建立模型後，系統還需要把三維模型在空間中旋轉到圖片上的位置，並給模型添加上視覺紋理，直到最終可以近似輸入圖像數據。

事實上，研究人員的四篇論文中有兩篇論述了從圖像數據推斷三維模型的複雜性。共同參與撰寫這些論文的還有另外四位麻省理工學院的研究人員，包括電氣工程與計算機科學教授威廉·弗裡曼 (William Freeman)，以及來自 DeepMind、上海科技大學和上海交通大學的研究人員。

分而治之

此次建立起來的系統基於麻省理工學院神經科學家大衛·馬爾 (David Marr) 一項非常有影響力的理論。馬爾在 1980 年英年早逝，年僅 35 歲。根據馬爾的假設，人腦在解釋一個視覺場景時，會首先創建一個 2.5 維「草圖」用於表示可見物體的表面。然後，在這個 2.5 維「草圖」的基礎上 (而非這個場景的原始視覺信息的基礎上)，大腦繼續推斷出所看到物體的完整三維形狀。

「這兩個問題都很難，但是至少我們有一個很好的方法來分解它們」，吳佳俊說，「這樣你可以一次處理一個問題，而不是同時解決它們，那樣難度會更大。」

圖丨吳佳俊 ，2010 年畢業於華東師範大學第二附屬中學，獲全國青少年信息學奧林匹克競賽一等獎保送至清華大學，就讀於交叉信息院計算機科學實驗班 ( 著名的姚期智班 )。他現為麻省理工學院四年級博士生，已在 CVPR，NIPS，ECCV，PAMI 等會議和期刊上發表 20 餘篇論文，曾榮獲清華大學特等獎學金、百度獎學金、Facebook 獎學金等

吳佳俊和他的合作者使用包括視覺圖像與圖像上物體的三維模型數據對系統進行訓練。構建真實照片中物體的精確三維模型將耗時過長，因此在最初階段，研究人員使用生成的數據來訓練這個系統。其中，圖像數據從三維模型渲染而成。整個創建數據的過程大概和創建電腦動畫電影一樣。

當訓練系統學習合成的數據之後，就可以把精度調得更高然後使用實際數據對系統進行訓練學習。評價系統學習效果的最終指標是系統再生成的重建模型與輸入數據對比的準確度。

在評估系統時，研究人員使用了一種常用的名為交並比的評估方法。在這一度量下，他們的系統勝過了上一代。另一方面，由於交並比不能很好的刻畫模型的局部細節，吳佳俊和他的同事們也運用眾包方法，讓用戶評價模型對源圖像中物體重建的精確度。74% 的參與者認為新系統的重建結果優於前一代。

時間永是流駛

在吳佳俊和特南鮑姆、弗裡曼的另一篇論文中，他們訓練了一個系統來分析物體落下的聲音，以推斷物體的形狀，材質以及它落下的高度。參與這項研究的還有麻省理工學院，劍橋大學和上海科技大學的研究人員。同樣的，系統被訓練去生成某一物體的抽象模型，然後再反過來，利用這個模型來模擬它從特定高度落下時將會產生的聲音。根據合成聲音和源聲音之間的相似性，最終可以判斷這個系統的性能。

最後，在他們的第四篇論文中，吳佳俊、特南鮑姆、弗裡曼、DeepMind 和牛津大學的合作者構建了一個系統，這個系統開始模擬人類直覺如何理解作用於物體的物理量。這篇論文的假設起點是之前的三篇論文所描述的最終結果：即假設系統已經成功推導出物體的三維形狀。

論文中使用了簡單形狀的物體進行研究：球和立方體。研究人員訓練他們的系統執行兩項任務，首先是讓系統估測在撞球桌上行進的撞球的速度，並據此預測撞球在碰撞之後的表現。另外一項任務則是分析堆疊的立方體的靜態圖像，並預測這些立方體會不會掉落，如果會掉落的話，立方體將落在哪裡。

吳佳俊提出了一種被他稱之為場景 XML 的表徵語言，可以定量描述視覺場景中的物體的相對位置。在研究中，系統首先要學習用這種語言來描述所輸入的數據，然後系統將描述出的結果提供給一個「物理引擎」，這個物理引擎可以對作用於所研究物體上的物理力進行建模。物理引擎既是計算機動畫也是科學計算中的重要組成部分，在計算機動畫中物理引擎被用來生成衣服的移動，物體的落下等，在科學計算中，物理引擎則被用於大規模的物理模擬。

當物理引擎完成球和立方體運動預測的之後，這些信息會被送到給圖像渲染引擎中。渲染引擎生成的輸出會再次與源圖像進行比較。與在視覺重建研究中使用的方法一樣，研究人員先用合成數據訓練系統，然後再細化精度，使用真實數據訓練他們的系統。

在測試中，新的系統同樣比現有的系統有更好的表現。在預測撞球運動的實驗中，新系統時常比人類表現得更好。

「這些工作中的最關鍵的洞察力在於利用物理工具——渲染器，模擬引擎，訓練好的模型——來訓練生成模型」，南加州大學計算機科學助理教授約瑟夫·林 (Joseph Lim) 評論，「當把這個簡單而優雅的想法與最新最先進的深度學習技術相結合時，我們看到了機器在多項解釋物理世界的任務中取得的巨大成果。」

相關焦點

  • 物理所等利用機器學習方法預測材料性能獲進展
    近二十年來，機器學習方法的發展為我們的生活帶來許多便利。智能網絡搜索、語音識別，乃至無人超市、無人駕駛汽車等，依託於機器學習方法的新事物正迅速地在生活中普及。Alpha Go的橫空出世更讓世界驚嘆於人工智慧的潛在價值。在科研領域，大數據的理念正在改變著科研人員對未知世界的探索方式。
  • DeepMind AI破解「蛋白質摺疊」難題，攻克生物學50年巨大挑戰
    美國時間11月30日，谷歌母公司Alphabet旗下人工智慧公司DeepMind公開宣布，生物學界50年來的重大難題——蛋白質摺疊預測，已被其成功攻克。而攻克這一難題的正是其2018年一經推出便震驚科學界的AI系統——AlphaFold。
  • DeepMind AI破解「蛋白質摺疊」難題,攻克生物學50年巨大挑戰
    美國時間11月30日，谷歌母公司Alphabet旗下人工智慧公司DeepMind公開宣布，生物學界50年來的重大難題——蛋白質摺疊預測，已被其成功攻克。然而，困擾生物學界50年的重大挑戰昨日被DeepMind的成功攻克。該公司的最新AlphaFold系統，在第14次CASP評估中的總體中位數得分達到了92.4GDT。這意味著AlphaFold預測的平均誤差（RMSD）僅為1.6 埃（1埃等於0.1nm），相當於一個原子的寬度。
  • DeepMind AI破解「蛋白質摺疊」難題,攻克生物學50年...
    美國時間11月30日，谷歌母公司Alphabet旗下人工智慧公司DeepMind公開宣布，生物學界50年來的重大難題——蛋白質摺疊預測，已被其成功攻克。而攻克這一難題的正是其2018年一經推出便震驚科學界的AI系統——AlphaFold。
  • Facebook AI 正在升維突破:教AI像人類一樣理解三維世界
    研究團隊相信，通過加強對三維物體的了解，AI 可以更緊密地連接二維和三維世界，在計算機視覺領域扮演更重要的角色，推動 3D 列印、AR 和 VR 等技術在現實生活中的進步，將這些技術拓展到更廣泛的任務上，最終像人類一樣理解三維世界。
  • 攻克世界數學難題的中學教師——陸家羲
    來源：包頭日報作者：姬卉春在包頭市檔案館名人檔案庫裡，陸家羲的檔案有14盒，內容最多最完整的是他的數學手稿。這位包九中普普通通的中學物理老師，從1957年開始潛心鑽研組合數學26年，解開了「柯克曼女生問題」、「斯坦納系列」這個世界組合數學設計中130多年未曾解決的難題。陸家羲1935年出生於上海。5歲開始讀小學，初中畢業後，因家境貧苦輟學。在哈爾濱電機廠工作期間，他自學了高中全部課程，1957年考入吉林師範大學。
  • 了解物理世界的「第三種方法」,AI正在改變科學
    生成對抗網絡通過對比的方法（即對應著術語「博弈」）來推斷出缺失信息：該網絡的組成部分之一生成器負責生成假數據，而另外的組成部分鑑別器則負責在數據中區分出這些假數據。隨著程序的運行，兩個組成部分的表現也得到了顯著提升。尤其是在由生成對抗網絡最新提供的超現實人臉中，如同上圖標題中所示，有一些讓你感覺「不存在於我們的世界卻又真實地嚇人」。
  • AlphaFold蛋白結構預測擊敗人類奪冠
    通過跨學科方法，DeepMind匯集了來自結構生物學，物理學和機器學習領域的專家，以應用尖端技術，僅根據其基因序列預測蛋白質的3D結構。在獲悉這一划時代的技術性突破後，動脈網試圖通過以下邏輯，還原DeepMind再次戰勝人類模型的「裡程碑」事件，以及DeepMind在醫療領域所做的探索。
  • 機器學習新戰果,破解「蝴蝶效應」,預測火焰的下一秒形態
    德國德勒斯登物理研究所混沌理論學家Holger Kantz說：「機器學習的確大有裨益。」「機器學習技術某種意義上說等同於認知真理。」 該算法本身對Kuramoto-Sivashinsky方程一無所知，它只獲取方程式演化數據。這就是機器學習法的強大所在。
  • 攻克世界數學難題 華裔數學家張益唐:已有新方向
    中新網10月16日電 據美國《世界日報》報導，北京大學北美校友大會14日舉行，作為北京大學校友，四年前榮獲麥克阿瑟獎(MacArther Award)的美國華裔數學家張益唐受邀參加。美國華裔數學家張益唐，受邀參加2018北京大學北美校友大會。
  • 機器學習在合成生物學:一種新的生物工程算法
    機器學習應用現在機器學習正在向一個新的領域——合成生物學領域挺進。然而，傳統的生物工程方法緩慢且費力，而且還難以達到預期的目標。為了快速預測新的生物系統，合成生物學需要人工智慧的機器學習。但是，傳統的機器學習算法越來越不適應需要，由於缺乏大量的質量數據而受到阻礙，科學家需要更有效的在細胞的生物工程中的機器算法。
  • 攻克生物學半世紀難題,「阿爾法摺疊」精準預測蛋白質三維結構
    科技日報北京12月1日電 人工智慧（AI）再度發威，攻克了生物學領域一項重大難題：預測蛋白質如何從線性胺基酸鏈捲曲成3D形狀以執行任務。1994年，為更好預測和破解蛋白質三維結構，馬裡蘭大學結構生物學家約翰·穆爾特等人發起了CASP競賽，每兩年舉行一次。在今年的比賽中，「深度學習」團隊的「阿爾法摺疊」（AlphaFold）方法的中位分數為92.4（滿分100分，90分以上被認為預測方法可與實驗方法相媲美），預測最具挑戰性的蛋白質的平均得分為87，比次優預測高出25分。
  • 謝國彤:疾病預測的機器學習、深度學習和經典回歸方法
    腦卒中預測模型和腦卒中或死亡預測模型的 H-L 統計量分別為 7.6 和 6.5，腦卒中預測模型的 AUC 為 0.66，而腦卒中或死亡預測模型的 AUC 為 0.70。基於機器學習方法的疾病預測儘管傳統的回歸方法在疾病預測方面有廣泛的應用，但這些方法在預測準確度和模型可解釋方面，都仍有提升的空間。
  • 機器學習遇見生物學:詳解蛋白質摺疊預測中的算法
    本文介紹了目前這一領域遇到的問題，以及機器學習怎樣幫助解決的具體算法。蛋白質摺疊問題一直是一個耗費巨大的難題，但是這個難題的解決又對人類具有巨大的意義。於是各個研究機構都開始尋找蛋白質摺疊問題的不同解，希望找到一種高效、準確的方式來解決這一難題。
  • 攻克生物學半世紀難題! 「阿爾法摺疊」精準預測蛋白質三維結構
    近日，人工智慧（AI）再度發威，攻克了生物學領域一項重大難題：預測蛋白質如何從線性胺基酸鏈捲曲成3D形狀以執行任務。據美國《科學》雜誌網站11月30日報導，「蛋白質結構預測關鍵評估」（CASP）競賽傳來喜訊：英國「深度學習」（DeepMind）稱其AI實現了上述成就，他們的方法將極大加快新藥研發進程。人體擁有成千上萬種不同的蛋白質，每一種蛋白質都包含幾十到幾百種胺基酸，這些胺基酸的順序決定了它們之間的作用，賦予蛋白質複雜的三維形狀，進而決定了蛋白質的功能。
  • 機器學習助力凝聚態物理研究:實現拓撲量子計算的新希望
    人類物理學家可能永遠不會擁有能夠看清相變的神經溼件（neural wetware，也就是人腦），但現在計算機卻可以。最近發表在 Nature Physics 上的兩篇論文中，來自加拿大圓周理論物理研究所（Perimeter Institute）和蘇黎世聯邦理工學院的兩隻團隊都表示，訓練神經網絡觀察僅數百個原子的快照，就能搞清楚它們所處的相（phase of matter)。
  • 沒錯,戰勝柯潔的AI系統,已經開始解決困擾科學家50年的生物難題
    2017年5月，一場舉世矚目的人機大戰正式打響，圍棋界人類世界第一的柯潔迎接人工智慧AlphaGo的挑戰。雙方大戰了三場，最終AlphaGo三戰全勝，在圍棋領域攻克了人類的最後一道防線。毫無疑問，人工智慧已經逐漸走進我們的生活，並且在很多領域大有替代人力的趨勢。你可能會好奇：人工智慧再會下圍棋又能怎麼樣？
  • ——機器學習算法有望實現地震的精確預測
    Machine-Learning Algorithm Predicts Laboratory Earthquakes近日，美國新墨西哥洲「洛斯阿拉莫斯國家實驗室」團隊訓練了一個機器學習算法來試圖預測地震，該團隊還不確定這一技術能否用於現實地震的預測，目前僅為實驗室環境成果，但這項技術可能為地震預測領域的研究開闢了一條新的路徑。據統計，被地震奪走生命的人員數量十分驚人。
  • 下一個十年,人類會攻克癌症嗎?
    癌症是道大難題，更現實的是：人人早篩，推動先進醫藥技術普惠更多患者，提高生存率和生存質量，讓患者「與癌共舞」。 鄧新華：會。AI、生物技術發展迅速，十年內有可能發生天翻地覆的變化。 陳季冰：很有希望。
  • 科學家使用機器學習模型加速理論物理研究
    「我們知道原則上如何解決很多有趣的問題，但我們就是沒有足夠的計算能力，儘管我們使用的是世界上最大的超級計算機。」為了突破這些限制，Shanahan領導了一個將理論物理學與機器學習模型結合起來的小組。在他們本月發表在《物理評論快報》上的論文《格點規範理論的等變流採樣》中，他們展示了如何將物理理論的對稱性融入機器學習和人工智慧架構中，從而為理論物理提供更快的算法。「我們使用機器學習不是為了分析大量的數據，而是在不損害方法的嚴密性的情況下加速第一原理，」Shanahan說。