DeepMind新突破!首次用深度學習從第一性原理計算分子能量

2020-12-12 AI 科技評論

編譯 | 青暮

DeepMind發表了一項新研究,展示了深度學習如何幫助解決現實系統中的量子力學基本方程問題,相關論文發表在物理學期刊《Physical Review Research》,代碼也已經開源。

這種新的神經網絡架構叫做Fermionic神經網絡或FermiNet,該架構適合對大量電子集合體(化學鍵的基本組成部分)的量子態進行建模。

DeepMind表示,FermiNet是第一個利用深度學習來從第一性原理計算原子和分子能量的嘗試,並擁有足夠的精確度。

他們還計劃將FermiNet用於蛋白質摺疊、玻璃態動力學、晶格量子色動力學等研究項目,以將這一願景變為現實。

論文地址:https://journals.aps.org/prresearch/abstract/10.1103/PhysRevResearch.2.033429

代碼地址:https://github.com/deepmind/ferminet

1

FermiNet

量子力學擁有大量的計算工具,但是構建有效的表示仍然是個難題。

即使是最近似的方法,量子化學計算最多只能求解包含數萬個電子的模型,而經典的(即非量子的)化學計算技術(例如分子動力學)可以處理數百萬個原子。

經典系統的狀態可以用很簡單的方式描述,只需要知道每個粒子的位置和動量。而表示量子系統的狀態則更具挑戰性,因為電子的位置是不確定的,必須給出其概率分布。

波函數可用於編碼電子的位置分布,並且波函數的平方給出了其概率值。要描述所有可能的位置,基本是不可能的。例如,假設有每個維度上具有100個點的網格,則矽原子的可能位置分布數將大於宇宙中的原子數。

圖1:不同的原子軌道波函數圖像,表面代表出找到電子的高概率區域。在藍色區域,波函數為正,而在紫色區域,波函數為負。

這正是DeepMind認為深度神經網絡可以提供幫助的地方。

在過去的幾年中,神經網絡在表示複雜的高維概率分布方面取得了巨大的進步。現在,神經網絡已經可以高效、可擴展地訓練。

DeepMind推測,鑑於神經網絡已經證明了在解決人工智慧問題中擬合高維函數方面的能力,也許它們也可以用來表示量子波函數。

這個想法不是DeepMind第一個提出的,例如Giuseppe Carleo和Matthias Troyer等曾經在Science上發表論文「Solving the quantum many-body problem with artificial neural networks」,表明使用現代深度學習解決理想的量子問題是可行的。

如今,DeepMind想使用深度學習來解決化學和凝聚態物理中更實際的問題,這意味著在計算中會包括電子。

電子必須遵守泡利不相容原理,這意味著任意兩個電子不能同時處於相同的狀態。因為電子是費米子,費米子包括了質子、中子、夸克、中微子等,它們都遵守泡利不相容原理。交換兩個電子會使得總波函數乘以-1,如果兩個電子的波函數是全同的,則總波函數將為0。

這意味著我們必須開發一種其輸入是反對稱的新型神經網絡,DeepMind將其稱為Fermionic神經網絡或FermiNet。

在大多數量子化學方法中,使用行列式引入反對稱性。矩陣的行列式具有以下屬性:如果交換兩行,則輸出將乘以-1,就像費米子的波函數一樣。

因此,對於一系列單電子函數,可以將其轉換成一個矩陣。該矩陣的行列式就是適當的反對稱波函數。

這種方法的主要局限性在於所得到的函數(稱為Slater行列式)不是很通用。實際系統的波函數通常要複雜得多。

典型的改進方法是採用Slater行列式的大規模線性組合(有時甚至數百萬個),並基於電子對添加一些簡單的校正。即使那樣,這仍不足以精確地計算能量。

圖2:Slater行列式展示,每個曲線都是圖1中的某個軌道的波函數。當電子1和2交換位置時,Slater行列式的其中兩行交換,波函數乘以-1,從而保證遵守泡利不相容原理。

與基函數的線性組合相比,深度神經網絡在表示複雜函數上通常效率更高。

在FermiNet中,這是通過使行列式中的每個函數作為所有電子的函數來實現的,這遠遠超出僅使用單電子和雙電子函數的方法。

FermiNet對每個電子都有單獨的信息流。如果這些流之間沒有任何交互,網絡的表示能力將不會超過常規的Slater行列式。

為了解決這個問題,DeepMind將來自網絡每一層所有流的信息平均化,然後將此信息傳遞給下一層的每一流。

這樣,這些流具有正確的對稱性,從而可以創建反對稱函數。這類似於圖神經網絡在每一層匯總信息的方式。

與Slater行列式不同,FermiNets是通用函數逼近器(至少在神經網絡層變得足夠寬的極限內)。

這意味著,如果可以正確地訓練這些網絡,它們將能夠幾乎精確地擬合薛丁格方程的解。

圖3:FermiNets圖示。網絡函數的單個流(藍色、紫色或粉紅色)非常類似於常規軌道。FermiNets引入了流之間的對稱相互作用,使得波函數更具一般性和更具表達能力。就像常規的行列式一樣,將兩個電子位置交換仍將導致行列式交換兩個行,並將總波函數乘以-1。

我們通過最小化系統的能量來擬合FermiNet。為了精確地做到這一點,我們需要評估所有可能的電子構型下的波函數,因此不得不進行近似。

我們隨機選擇電子構型,在每個電子排列中局部地估計能量,將每個排列的貢獻相加,並將其(而不是真實能量)最小化。

這稱為蒙特卡洛方法,因為它有點像賭徒一遍又一遍地擲骰子。雖然是近似值,但如果我們需要使其更精確,則可以隨時再次擲骰子。

由于波函數平方代表可以觀察到的任何位置的粒子排列,因此最方便的是從波函數本身生成樣本(本質上是模擬觀察粒子的行為)。

雖然大多數神經網絡都是從一些外部數據中訓練出來的,但在DeepMind的這個案例中,用於訓練神經網絡的輸入是由神經網絡本身生成的。這意味著我們不需要任何訓練數據,除了電子在的原子核周圍的位置。

上述基本概念被稱為變分量子蒙特卡洛(variational quantum Monte Carlo,VMC),自20世紀60年代就出現了,通常被認為是一種廉價但不太精確的計算系統能量的方法。

通過用FermiNet替換基於Slater行列式的簡單波動函數,DeepMind極大地提高了該方法在多個系統上的精度。

圖4:從FermiNet採樣的模擬電子圍繞雙環戊烷分子的運動。

為了確保FermiNet確實代表了SOTA,DeepMind首先研究了簡單且經過充分研究的系統,例如元素周期表第一行(氫到氖)中的原子。這些系統很小(少於10個電子)且足夠簡單,可以用最準確的方法進行處理。

FermiNet的性能遠勝於對應的VMC計算(相對於指數縮放計算,通常可以將誤差減少一半或更多)。

在更大的系統上,指數縮放方法變得棘手,因此DeepMind將「耦合簇」方法用作基準。該方法對處於穩定構型的分子效果很好,但是當鍵被拉伸或斷裂時會很費力(這對於理解化學反應至關重要)。

儘管耦合聚類的縮放比指數縮放好得多,但它只能用於中等大小的分子。DeepMind將FermiNet逐漸應用於更大的分子,從氫化鋰開始,一直到雙環丁烷(它具有30個電子)。

在最小的分子上,FermiNet驚人地捕獲了耦合簇能量和單個Slater行列式獲得的能量之差的99.8%。在雙環丁烷上,FermiNet仍捕獲了97%或更多的相關能量。

圖5:FermiNet在分子上捕獲的相關能量的分數的圖示。紫色條表示99%的相關能量。從左至右:氫化鋰、氮、乙烯、臭氧、乙醇和雙環丁烷。

儘管耦合簇方法對於穩定的分子非常有效,但計算化學的真正前沿是理解分子如何拉伸、扭曲和斷裂。

在那裡,耦合簇方法經常會遇到困難,因此我們必須與儘可能多的基準進行比較,以確保獲得一致的答案。

DeepMind研究了兩個基準拉伸系統——氮分子(N2)和具有10個原子的氫鏈(H10)。氮是一個特別具有挑戰性的分子鍵,因為每個氮原子貢獻3個電子。同時,氫鏈對於了解電子在材料中的行為方式(例如預測材料是否會導電)很重要。

在這兩個系統上,耦合簇在平衡狀態下都表現良好,但是隨著鍵的拉伸,問題就出現了。常規的VMC計算結果總體而言效果不佳。但是,無論鍵長如何,FermiNet都是研究的最佳方法之一。

2

結論

DeepMind表示,FermiNet是深度學習與計算量子化學融合的偉大事物的開始。到目前為止,他們研究的大多數系統都經過了充分的研究和很好的理解。

DeepMind希望FermiNet將激發大量的擴展工作,並為新的甚至更好的網絡體系結構激發許多想法。

自從去年DeepMind首次將工作放到arXiv以來,其他小組已經分享了他們將深度學習應用於多電子問題的第一性原理計算的方法。DeepMind表示,他們期待將FermiNet應用於材料科學和凝聚態物理中的難題。

原文連結:https://www.deepmind.com/blog/article/FermiNet

[贈書福利]

在10月19日頭條《專訪吳軍:未來10年,AI的發展方向是應用,不會出現重大的理論突破》留言區留言,談一談吳軍博士對你的啟示,或你對信息技術發展的理解。

AI 科技評論將會在留言區選出 10 名讀者,每人送出《信息傳》一本。

活動規則:

1. 在留言區留言,留言點讚最高的前 10 位讀者將獲得贈書。獲得贈書的讀者請聯繫 AI 科技評論客服(aitechreview)。

2. 留言內容會有篩選,例如「選我上去」等內容將不會被篩選,亦不會中獎。

3. 本活動時間為2020年10月19日 - 2020年10月23日(23:00),活動推送內僅允許中獎一次。

NeurIPS 2020論文接收列表已出,歡迎大家投稿讓更多的人了解你們的工作~

相關焦點

  • DeepMind開源薛丁格方程求解程序:從量子力學原理出發,TensorFlow...
    (註:波函數平方表示電子出現的概率)誤差小於0.5%即可預測分子的能量,但這對於化學家來說遠遠不夠,要準確預測分子的形狀和化學性質,需要0.001%的精度,相當於以毫米精度測量足球場寬度。電子在分子中不僅受到原子核的吸引力、其他電子的斥力,還遵循著量子力學中的費米-狄拉克統計:如果兩個電子交換狀態,波函數要反號。
  • DeepMind破解蛋白質摺疊難題
    1969年,塞勒斯 · 萊文塔爾(Cyrus Levinthal)指出,用暴力計算法列舉一個典型蛋白質的所有可能構型所需的時間比已知宇宙的年齡還要長,他估計一個典型蛋白質有10 ^ 300種可能構型。這些令人興奮的結果為生物學家打開了使用深度學習計算結構預測作為科學研究的核心工具的潛力,DeepMind 的方法可能特別有助於預測重要類別的蛋白質結構,如膜蛋白等。圖:ALPHAFOLD 預測了與實驗結果相對應的高度精確的結構歷史性突破!
  • 解讀馬斯克「第一性原理」,特斯拉特立獨行是有什麼依仗?
    第一性原理思維引導我們從基本原理出發,一步步往前推演,直到找出適合該問題的解決方法,本質上有點像工程師思維。這點上比爾蓋茨曾經比較馬斯克和賈伯斯時說過:馬斯克就是一個善於動手的工程師,而賈伯斯是設計和營銷上的天才。
  • AlphaFold抗疫,DeepMind公布六種新冠病毒蛋白質結構預測結果
    在昨天發表的博客文章中,DeepMind 表示,他們用 AlohaFold 生成了六種可能與新冠病毒有關的蛋白質結構預測結果,而且已經開放下載。這一結果可能對新冠病毒疫苗研發等工作起到推動作用。DeepMind 開放的新冠病毒蛋白質結構預測結果下載連結:https://storage.googleapis.com/deepmind-com-v3-datasets/alphafold-covid19/structures_4_3_2020.zip為什麼要用深度學習預測新冠病毒蛋白結構?
  • 業界 | DeepMind遊戲AI又有新突破,與智能體、人類合作都不在話下
    現在,通過強化學習的新發展,DeepMind 的智能體在雷神之錘 III 競技場奪旗模式(Quake III Arena Capture the Flag)中的表現達到人類水平,該遊戲包含複雜的多智能體環境,也是典型的第一人稱 3D 視角多人遊戲。這些智能體展示了和人工智慧體以及人類玩家合作的能力(雷神之錘III是一款多人連線第一人稱射擊遊戲(FPS))。
  • 用深度神經網絡求解『薛丁格方程』,AI開啟量子化學新未來
    它出自某部科幻作品,暗指劇情中那些解釋不通的、奇奇怪怪的現象,都可以用「量子力學」來矇混過關。  他在 1926 年發表的量子波形開創性論文中,首次提出了薛丁格方程。它是一個非相對論的波動方程,反映了描述微觀粒子的狀態隨時間變化的規律。  具體來說,它將物質波的概念和波動方程相結合建立二階偏微分方程,以描述微觀粒子的運動,每個微觀系統都有一個相應的薛丁格方程式,通過『解方程』可得到波函數的具體形式以及對應的能量,從而了解微觀系統的性質。
  • AI求解薛丁格方程,兼具準確度和計算效率,登上《自然-化學》
    去年,DeepMind 科學家開發一種新的神經網絡來近似計算薛丁格方程,為深度學習在量子化學領域的發展奠定了基礎。今年九月份,柏林自由大學的幾位科學家提出了一種新的深度學習波函數擬設方法,它可以獲得電子薛丁格方程的近乎精確解。相關研究發表在 Nature Chemistry 上。
  • 異曲同工:馬斯克的第一性原理,李彥宏的人工智慧「樂高模式」
    而這些恰恰是第一性原理最精要之所在——看透事物的本質,並把事物從整體分解成元素,最終從根源上解決問題。 縱觀人類文明史,無論是科學還是哲學,當研究和發展到最高階段的時候,這兩者往往是互聯互通的。如果說馬斯克推崇的第一性原理,是西方科學文明的一個表徵的話,那麼李彥宏所提倡的「樂高模式」則是東方哲學智慧的一個顯學。
  • 減肥終極理論:第一性原理(減肥研究之一)
    新的一年快到了,鳥哥下定決心要減肥。別問為什麼,問就先請鳥哥吃飯。為了對得這個新年到來之際立下的flag,鳥哥花了很多工夫,研究了一下市面上有哪些減肥理論。經過系統查詢各類文獻,鳥哥終於發現了減肥的終極理論,可以稱為減肥第一性原理。
  • Nat Chem|用深度學習方法求解薛丁格方程
    近日,來自德國柏林自由大學的研究者們報導了一種新的深度學習QMC方法——PauliNet,它用功能更強大的深度神經網絡(DNN)表示替代了目前在標準Jastrow factor和backflow transformation中使用的函數形式。除了在表示能力上的增強,該網絡架構是專門為編碼有效波函數而設計的並使用多參考HF方法作為基線。
  • 多任務智能體的一大步:DeepMind 一次搞定 57 種 Atari 遊戲的 Pop...
    這一技術可以讓不同遊戲的獎勵尺度互相適應起來,無論每個特定遊戲中可以得到的獎勵有多大,智能體都會認為每個遊戲具有同等的學習價值。研究人員用 PopArt 的正態化方法調整了當前最先進的強化學習智能體,使得一個 AI 可以學會多達 57 種不同的 Atari 遊戲了,而且在這些遊戲中的得分也超過了人類得分的中位數。
  • DeepMind 星際爭霸AI登刊Nature!RTS遊戲已被AI攻克?
    因此,學習人類的策略是AlphaStar的探索方法,是智能體提升效能的關鍵。所有的智能體都是通過監督學習的方式進行初始化,不同的是,主智能體主要通過強化學習進行優化,而陪練和聯盟陪練在保存當前策略後,都需要用人類數據重新初始化。
  • 生物學50年難題被DeepMind解決了,蛋白質版「阿法狗」預測結構準確...
    △圖源:Deepmind兩年前,上一版本的AlphaFold便已經取得了裡程碑的突破,但是,仍然沒有完全解決蛋白質摺疊問題。而這次AlphaFold 2,則更進一步。這一巨大的突破,直接引爆了全網,Nature、Science紛紛報導,生物屆和AI大牛們也紛紛祝賀。
  • 混沌大學紀錄片《尋找1》發布:什麼才是屬於你的「第一性原理」?
    尋找1 THE ONE混沌大學 #尋找1#進行中《尋找1》首發5分鐘濃縮版以第一性原理為核心,混沌大學2020年上半年結束前的一周,拍攝了一支紀錄片名為:《尋找1》。
  • 講座預約丨權威專家談AlphaFold:DeepMind到底突破了什麼?
    因其在蛋白質結構預測領域的突破性成果,使得媒體一度用「顛覆「、「革命性突破」、「諾獎級成果」等詞彙來形容此事件。簡單來說,AlphaFold能做的事情,是計算胺基酸之間的距離,從而預測蛋白質的3D結構。這是一個號稱困擾生物學家50年的問題。
  • 深度學習的理論基礎|一個鍊金術師的自述(1)
    Rahimi 的這個比喻這麼說,正指的是深度學習中理論的匱乏。用最寬泛的定義來說,深度學習是對已有機器學習方法的疊加;用比較容易想像的定義來說,深度學習使用類似神經網絡的系統來學習。不管用哪個定義,深度學習都涉及到把學界已經不太理解的東西聚合在一起,變成了更難理解的,額,大東西。
  • 張亞勤:深度學習更近一步,如何突破香農、馮諾依曼和摩爾瓶頸?
    過去十年裡最流行的深度學習,基本是以大數據、大計算、大模型算法來驅動,其中包括 AlphaGO、AlphaZero。深度學習確在過去一段時間取得很好的進展,比如 GAN、Transfer learning,到現在的 GPT-3 等等。
  • 第一性原理,讓校園霸凌受害者成為無堅不摧鋼鐵俠,你了解嗎?
    他自己說:我只是遵循第一性原理!馬斯克永遠是話題大神,倒並不是他短時間從瀕臨破產逆襲為世界首富,更重要的是他所做的事情總是一開始讓人覺得不可思議,最後卻總能成功且不同凡響。什麼是第一性原理?那什麼又是第一性原理呢?這一理論來自於古希臘哲學家亞里斯多德,他說:「每個系統中存在最基本的命題,它不能被省略和刪除,也不能被違反。」聽著挺玄的是吧?
  • 解讀 | 凱杜能量場能將大分子團水變成水分子團水
    氫鍵的形成至少四種不同類型的相互作用,①HF偶極矩的取向力;②HF分子最高被佔用軌道與另一分子最低空餘軌道發生軌道重疊和電荷轉移作用,即類共價鍵。③分子間電子云的排斥作用。④分子間的誘導偶極作用,非常微弱。氫鍵的本質也是靜電相互作用,主要是偶極作用能和靜電作用能近似。可以用廣義範德華力計算式計算,氫鍵作用是氫鍵力的幾何平均值服從Berthelot定律。
  • Deepmind被「圈外人」刷屏後,「圈內」科學家是如何評價它的?
    而四年來,以深度學習為特徵的AI技術,在各個垂直行業裡的落地並沒有形成「摧枯拉朽之態」,一些「先天性」的技術性難題仍然待解。也就在今天,美國普林斯頓大學教授、結構生物學家顏寧,就AlphaGo的成果發表了一條微博,表明了自己的觀點:「蛋白結構預測不是一個新鮮學科,(AlphaFold)確實是突破,但是有了兩年前的新聞做鋪墊,現在這次委實是意料之中。」