全面回顧2020年圖機器學習進展,12位大神論道、寄望2021年大爆發!

2021-01-11 AI 科技評論

作者 |Michael Bronstein

編譯 | Mr.Bear

編輯 | 陳大鑫

圖機器學習在 2020 年大放異彩,各種新理論和新應用精彩紛呈。

就在近日,倫敦帝國理工學院教授、推特圖學習研究負責人Michael Bronstein與圖機器學習領域的多位資深研究者進行了深入交流,對該領域在過去的一年中的進展進行了較為全面的盤點,並預測了未來發展的方向。

1

消息傳遞機制

Will Hamilton,麥吉爾大學助理教授,Mila 的 CIFAR 主席,GraphSage作者。

「2020 年,圖機器學習領域開始受限於消息傳遞範式的本質缺陷。」

上述缺陷包含人們常說的「瓶頸」、「過平滑」[2]等問題,以及表徵能力的理論限制[3,4]。展望未來,我們希望研究人員在 2021 年開始尋找圖機器學習的下一種核心範式。目前,我們還不確定下一代圖機器學習算法應該是怎樣的,但是我們相信該領域的進步有賴於大家擺脫在 2020 年及以前佔據主導地位的消息傳遞機制。

在 2021 年,我們希望圖機器學習技術能夠走進更具影響力和挑戰性的應用領域。近年來,有太多研究工作都著眼於簡單、同質化的節點分類任務。此外,我們還希望能看到該領域能夠在需要更複雜的算法推理的任務上取得方法論上的研究進展(例如,涉及知識圖譜、強化學習,以及組合優化等問題的任務)。

2

算法推理

圖 1:指針圖網絡(Pointer Graph Networks)融合了來自經典計算機科學的結構化歸納偏置。

Petar Velikovi,DeepMind 高級研究員,圖注意力網絡(GAT)作者。

顯然,圖表徵學習在 2020 年已經不可逆轉地成為了機器學習領域最受矚目的課題之一。

在 2020 年,圖機器學習領域取得了不勝枚舉的研究進展,神經算法推理是最令人振奮的課題之一。傳統意義上,神經網絡在插值方面十分強大,但是眾所周知,神經網絡是一種較差的外推器(extrapolator)。

由於推理的主要特徵之一就是能夠在訓練數據分布之外發揮作用,因此神經網絡的推理能力不足。推理任務可能是進一步發展圖神經網絡(GNN) 的理想場景,這不僅因為我們認為 GNN 非常適用於推理任務,還因為許多真實世界中的圖任務具有同質性,這意味著更加簡單的 GNN 往往是最有效且可擴展的[6,7]。

基於歷史上的神經圖靈機[8]、可微神經計算機[9]等神經執行器(neural executors)的成功,受益於現在廣為使用的各種圖機器學習工具包,2020 年發表的一些研究工作從理論上探究了神經執行器的缺陷[5,10,11],提出了一些基於 GNN 的強大的新推理架構[12-15],並且在神經推理任務上具有完美的泛化性能[16]。在 2021 年,這樣的架構可以自然而然地促進組合優化研究領域[17]的發展,我們也非常希望看到預訓練的算法執行器可以幫助我們將經典算法應用到未經處理的、甚至不適合這些算法的輸入上。

例如,XLVIN 智能體[18]正是使用了上述概念。它使 GNN 在即使不知道底層具體的馬爾科夫決策過程(MDP)的情況下,也可以在強化學習工作流程中執行「值迭代」式的算法。我們相信在 2021 年,將 GNN 廣泛應用於強化學習的時機將會成熟。

3

關係結構發現

圖 2:GNN 使我們可以學習用於解釋多粒子系統(左圖)的狀態轉移圖(右圖)。

Thomas Kipf,谷歌大腦研究科學家,圖卷積網絡(GCN)作者。

自從最近基於 GNN 的模型被廣泛採用以來,圖機器學習社區中一個值得注意的趨勢是:將計算結構與數據結構分離開來。

在 ICML 2020 的研討會演講「關係結構發現」中,我介紹了這一趨勢。通常而言,我們設計的圖神經網絡會在一個由數據集給出的固定(或者按時序演進)的結構上傳遞消息,即數據集的節點和邊會被作為計算結構或我們模型的消息傳遞結構的金標準。在 2020 年,我們已經看到人們對能夠適應計算結構(也就是使用哪些部件作為節點,在哪些節點對之間進行消息傳遞)的模型越來越感興趣,而不僅僅是基於注意力的模型。

2020 年發表的「Amortised Causal Discovery」是該領域的一個頗有影響力的例子[19,20],它使用了神經關係推理技術根據時間序列數據來推理因果圖。該領域的其它重要工作還包括:具有可學習指針的 GNN[21,15]、具有關係機制的GNN[22,23]、通過自適應的計算圖學習基於網格的物理仿真器[24]、學習推理執行計算的抽象節點的模型[25]。

這些研究進展具有廣泛的啟發意義,使我們可以有效地在其它的領域(例如文本或視頻處理)利用 GNN 架構提供的對稱性(例如,節點排列等變性)和歸納偏置(例如,對成對的交互函數建模)。

展望未來,我們希望可以看到在給定數據和任務的情況下,如何通過不依賴於顯式的監督學習最優的計算圖結構(同時考慮節點和關係)。通過仔細分析這些學習到的結構,我們可能獲得更好的對於模型為了解決任務而執行的計算的解釋,並且可能使我們進一步類比因果推理。

4

表達能力

Haggai Maron,英偉達研究科學家,「provably expressive high-dimensional graph neural networks」作者。

圖神經網絡的表達能力是 2020 年圖機器學習領域的核心問題之一。

2020 年,有許多優秀的論文討論了各種 GNN 架構的表達能力[27],指出了由於深度和寬度的限制,導致 GNN 存在根本上的表達能力局限性[28]。此外,也有一些工作描述了 GNN 可以檢測出怎樣的結構並對其進行計數[28],說明使用固定數量的 GNN 對於許多圖任務並沒有意義。在論文「Towards scale-invariant graph-related problem solving by iterative homogeneous graph neural networks」中,作者則提出了一種迭代式的 GNN,可以學會自適應地終止消息傳遞過程[14]。

在 2021 年,我們希望看到研究社區在「條理化的圖生成模型方法」,「基於 GNN 的圖匹配與 GNN 的表達能力之間的聯繫」,「學習圖像、音頻等結構化數據的圖」等方面取得進展。此外,我們還期待 GNN 研究社區和計算機視覺研究社區在場景圖領域有更深入的合作。

5

可擴展性

Matthias Fey,多特蒙德工業大學博士生,PyTorch Geometric和 Open Graph Benchmark的作者。

2020 年,解決 GNN 的可擴展性問題是圖機器學習研究領域最熱門的話題之一。

近年來,一些方法依賴於通過將預測與傳播的過程解耦來簡化底層的計算。有大量的論文直接將不可訓練的傳播方案作為預處理[30,7]或後處理[6]步驟與「圖無關」的模塊結合起來。這會使得運行時間得到顯著的優化,尤其是在同質圖上的性能並沒有下降。

隨著使用越來越大的數據集,我們希望看到圖學習的可擴展性有更大的進展,以及如何以一種可擴展的方式使用可訓練的、表達能力強的消息傳播。

6

動態圖

圖 3:動態圖示例

Emanuele Rossi,Twitter 機器學習研究員、帝國理工博士生,Temporal Graph Networks作者。

許多有趣的圖機器學習應用本質上是動態的,其中圖的拓撲結構和屬性都會隨著時間演化。

在社交網絡、金融交易網絡或「用戶-物料」交互網絡中,我們往往面對的就是動態圖場景。直到最近,絕大多數圖機器學習的研究重點關注的仍然是靜態圖。現有的少量嘗試研究動態圖的工作主要考慮的是「離散時間動態圖」,即一系列在規則的時間間隔上對圖進行快照。在 2020 年,我們看到一些關於更普適化的「連續時間動態圖」的工作湧現了出來[31-34],我們可以將這種動態圖視為時序時間的異步流。此外,第一批動態圖模型的有趣的成功應用也誕生了:虛假帳戶檢測[35]、欺詐檢測[36]、流行病傳播控制[37]等。

目前,我們仍然只是觸及了這個令人振奮的研究方向的皮毛,許多有趣的問題還有待解決。其中,重要的開放性問題包括可擴展性、對於動態模型更好的理論解釋、在同一個框架中結合信息在時間和空間上的傳播。我們還需要更加可靠和更具挑戰性的對比基準,從而保證研究進展可以被更好地評估和跟蹤。最後,我們希望看到動態圖神經網絡更成功的應用,特別是在工業領域。

7

新的硬體

圖 4:Graphcore 是一家為圖模型開發新型硬體的半導體公司。

Mark Sarougim,Graphcore機器學習工程師。

在我所共事過的人中,我想不出還有誰沒有在生產中部署過圖神經網絡,或者正考慮這麼做。

以往,自然語言處理、蛋白質設計、分子特性預測等應用中的自然的圖結構往往會被忽視,而這些數據會被作為適用於現有的機器學習模型(例如 Transformer)的序列輸入。然而,Transforemer 只不過是將注意力作為鄰居節點之間聚合函數的 GNN(https://thegradient.pub/transformers-are-graph-neural-networks/)。在計算過程中,有些算法之所以取得很好的效果並不是因為它們適用於某種任務,而是因為它們在現有的硬體上運行良好,我們將這種現象稱為「硬體彩票」[38],而 Transformer 在 GPU 上運行取得的效果就屬於這種情況。

在 Graphcore,研究人員已經構建了一種新的多指令流多數據流(MIMD)架構,它具有 1,216 個可以並行運行 7,296 個程序的核心,我們將其稱為智能處理單元(IPU)。這種架構非常適用於對 GNN 的加速。Graphcore 的 Polar 軟體棧利用稀疏性將計算圖的不同節點分配給不同的核。對於能夠裝載入 IPU 的 900MB 片上內存的模型,這種新的架構大大提高了 GPU 的吞吐量,只需幾行代碼就可以將模型分布到數千個 IPU 上。

目前,Graphcore 的用戶利用這些優勢構建了大量的研究工作,例如:SLAM 的光束法平差、使用局部更新訓練深度網絡、加速一系列粒子物理學中的問題。

8

在工業界的應用

圖 5:MagicLeap 的 SuperGlue 將 GNN 用於解決經典的計算機視覺問題——特徵匹配。

Sergey Ivanov,Criteo 研究科學家,《Graph Machine Learning newsletter」》編輯。

對於圖機器學習研究領域來說,2020 年是令人震驚的一年。所有的機器學習會議都包含 10-20% 有關該領域的投稿。因此,每個人都可以找到自己感興趣的有關圖的課題。

谷歌Graph Mining團隊在 NeurIPS 上表現十分搶眼。從這份 312 頁的演示文稿(https://gm-neurips-2020.github.io/master-deck.pdf)中,我們可以看出谷歌在生產環節中對圖的使用已經超越了競爭對手們。谷歌對圖機器學習技術的應用包括:使用時空 GNN 對 COVID-19 進行建模、欺詐檢測、隱私保護等。此外,DeepMind 還在谷歌地圖上推出了用於全球旅行時間預測的 GNN。該方法的一個有趣的技術細節是:他們將強化學習模型融合到了單個 batch 中,用於選擇相似的採樣得到的子圖,從而訓練 GNN 的參數。該方法和先進的超參數調優策略使實時到達時間的估計準確率提升了 50% 以上。

Magic Leap 是另一個值得注意的 GNN 應用,它被專門用於 3D 計算機生成圖形。它們的 SuperGlue 架構將 GNN 用於圖像中的特徵匹配[39],這是三維重建、位置識別、定位和製圖領域的重要課題。這種端到端的特徵表徵與最優傳輸優化相結合,在實時的室內和室外姿態估計任務中取得了優異成績。而上述成果只是研究者們在 2020 年取得成果的冰山一角。

在 2021 年,我們相信可以看到圖機器學習在工業環境下的進一步應用。相關的進展包括生產流程和框架、新型開源圖數據集、GNN 在電子商務、工程設計,以及製藥工業方面的大規模部署。

9

在物理學的應用

圖 6:通過圖表示的粒子射流。GNN 被用於檢測粒子物理學中的現象。

Kyle Cranmer,紐約大學物理教授,希格斯玻色子的發現者之一。

我們驚訝地發現,圖機器學習在過去的兩年中已經在物理學研究領域盛行。

早期在粒子物理學中使用深度學習的工作常常迫使將數據表示成圖像的形式以用 CNN 處理。由於粒子物理學領域的數據不是網格狀的,並且圖像表徵十分稀疏,所以這種工作機制並不自然,而圖可以更自然地表徵粒子物理學數據[40,41]。

大型強子對撞機的研究人員現在正致力於將圖機器學習集成到每秒處理數十億次碰撞的實時數據處理系統中。通過部署推理伺服器將圖機器學習與實時數據採集系統集成[42],並且在可編程門陣列(FPGA)和其他特殊硬體[43]上實現這些算法,可以實現這一目標。

在 2020 年,圖機器學習的一大亮點是它的歸納偏置可以與符號方法配合使用。例如,我們可以使用 GNN 學習如何預測各種動力系統,然後對沿著邊上傳輸的消息進行符號回歸[44]。我們不僅能夠恢復出真實的力學定律,還可以在沒有真實標註的情況下提取方程。令人驚訝的是,提取到的符號方程可以被重新引入到 GNN 中,替換原來學習到的部分,因此我們可以更好地泛化到訓練數據分布之外的情況。

10

在醫療領域的應用

圖 7:GNN 可以將患者關係圖用於疾病診斷。

Anees Kazi,慕尼黑工業大學博士生,發表過多篇將圖機器學習用於醫學影像的論文。

在醫學領域中,圖機器學習轉變了我們分析多模態數據的方式,這種方式與醫學專家在臨床中根據所有可知的維度觀察病人情況的方式非常相近。

近年來,醫學影像與醫療保健應用領域[45]中與圖機器學習相關的研究紛紛湧現了出來,包括腦圖像分割[46]、使用 MRI/fMRI 數據的旨在預測疾病的腦部結構分析[47],以及藥物作用分析[48]。

2020 年,一些圖機器學習領域的課題在醫學領域中十分突出:

(1)潛在圖學習[22,49,50],由於根據經驗為給定的數據定義一個圖一直是獲得最優輸出的瓶頸,研究人員通過自動學習潛在的圖結構解決了這一問題。

(2)數據填充[51],由於缺失數據是許多醫學數據集長期存在的問題,基於圖的方法可以利用圖鄰域的關係幫助我們對數據進行填充。

(3)圖機器學習模型的可解釋性[52],由於對於臨床醫生和技術專家來說,為了將圖機器學習模型可靠地整合到計算機輔助系統中,他們非常關注對圖機器學習模型的輸出進行推理。當然,新冠病毒的大流行是 2020 年醫學領域的研究熱點,而圖機器學習方法也被用於 COVID-19 的檢測[53]。

2021 年,圖機器學習模型可以被進一步用於提升機器學習模型的可解釋性,從而做出更好的決策。此外,我們發現圖機器學習方法對於圖結構仍然十分敏感,因此對於圖擾動和對抗攻擊的魯棒性也是一個重要的課題。最後,將自監督學習引入被用於醫學領域的圖機器學習也是十分有趣的研究課題。

11

在生物信息學的應用

圖 8:使用集合機器學習架構 MaSIP 設計的不同腫瘤靶蛋白結合物。

Bruno Correia,洛桑聯邦理工學院助理教授,蛋白質設計與免疫工程實驗室主任,MaSIF的開發者之一。

2020 年,作為生物信息學領域中的一個關鍵問題,蛋白質結構預測取得了激動人心的進展,分子表面的化學和幾何模式對蛋白質功能至關重要。

基於表面的分子表徵已經被研究人員使用了幾十年,但它們對機器學習方法提出了挑戰。幾何深度學習領域的方法為蛋白質建模領域帶來了令人印象深刻的能力,因為它們能夠處理不規則數據,尤其適合於蛋白質表示。在 MaSIF[1] 中,作者將幾何深度學習用於基於網格的分子表面表徵,從而學習使我們能夠預測蛋白質與其它分子交互(蛋白質與代謝物)的模式,並將對接計算的速度提高了幾個數量級。反過來,這可以促進規模大得多的蛋白質-蛋白質交互網絡預測。

在對 MaSIF 框架[2]接下來的開發中,作者成功地生成了表面和化學的特徵,避免了所有的預先計算。作者認為這些進展將會對蛋白質和小分子設計產生革命性的影響,從長遠來看,這些成果可能有助於加快生物藥物的研發。

12

在生命科學的應用

圖 9:被用於複方藥物副作用預測十邊形的 GNN。

Marinka Zitnik,哈佛大學醫學院生物醫學信息學助理教授,Decagon的作者。

看到圖機器學習在 2020 年進軍生命科學領域令人十分振奮。

我們已經看到,圖神經網絡不僅在精心設計的對比基準數據集上性能優於之前的方法,還為研發新藥開闢了新的途徑,這對人們有很大的幫助。圖神經網絡還可以幫助人們在從根本上理解自然。相關的重要研究工作包括:單細胞生物學[56]、蛋白質和結構生物學[54,57]、重定位等方面的研究進展[59]。

幾個世紀以來,科學方法(科學家們用來系統地、邏輯化地解釋自然世界的科學的基本實踐)在很大程度上保持不變,我們希望在 2021 年,科學家們可以使用圖機器學習為其帶來實質性的進展。為了實現這一目標,我們需要設計一些方法來優化並操縱網絡化的系統並預測它們的行為。例如,從疾病的角度來看,基因組學如何影響人類的特徵。這些方法需要能夠應對受幹擾和人為幹預的數據(而不僅僅是處理現實世界中觀測到的數據)。

同時,我們還希望研究者們能夠開發出更多的方法來學習可操作的表徵,它們可以很容易地成為科學上可執行的假設。這些方法使我們可以在高風險的環境下做出決策(例如,化學測試、粒子物理學、人類臨床試驗),在這種情況下我們需要精確、魯棒、可解釋的預測結果。

原文連結:

https://towardsdatascience.com/predictions-and-hopes-for-graph-ml-in-2021-6af2121c3e3d

參考文獻

[1] U. Alon and E. Yahav, On the bottleneck of graph neural networks and its practical implications (2020) arXiv:2006.05205.

[2] Q. Li, Z. Han, X.-M. Wu, Deeper insights into graph convolutional networks for semi-supervised learning (2019) Proc. AAAI.

[3] K. Xu et al. How powerful are graph neural networks? (2019) Proc. ICLR.

[4] C. Morris et al. Weisfeiler and Leman go neural: Higher-order graph neural networks (2019) Proc. AAAI.

[5] K. Xu et al. What can neural networks reason about? (2019) arXiv:1905.13211.

[6] Q. Huang et al. Combining label propagation and simple models out-performs graph neural networks (2020) arXiv:2010.13993.

[7] F. Frasca et al. SIGN: Scalable Inception Graph Neural Networks (2020) arXiv:2004.11198.

[8] A. Graves, G. Wayne, and I. Danihelka, Neural Turing Machines (2014) arXiv:1410.5401.

[9] A. Graves et al. Hybrid computing using a neural network with dynamic external memory (2016). Nature 538:471–476.

[10] G. Yehuda, M. Gabel, and A. Schuster. It’s not what machines can learn, it’s what we cannot teach (2020) arXiv:2002.09398.

[11] K. Xu et al. How neural networks extrapolate: From feedforward to graph neural networks (2020) arXiv:2009.11848.

[12] P. Velikovi et al., Neural execution of graph algorithms (2019) arXiv:1910.10593.

[13] O. Richter and R. Wattenhofer, Normalized attention without probability cage (2020) arXiv:2005.09561.

[14] H. Tang et al., Towards scale-invariant graph-related problem solving by iterative homogeneous graph neural networks (2020) arXiv:2010.13547.

[15] P. Velikovi et al. Pointer Graph Networks (2020) Proc. NeurIPS.

[16] Y. Yan et al. Neural execution engines: Learning to execute subroutines (2020) Proc. ICLR.

[17] C. K. Joshi et al. Learning TSP requires rethinking generalization (2020) arXiv:2006.07054.

[18] A. Deac et al. XLVIN: eXecuted Latent Value Iteration Nets (2020) arXiv:2010.13146.

[19] S. Lwe et al., Amortized Causal Discovery: Learning to infer causal graphs from time-series data (2020) arXiv:2006.10833.

[20] Y. Li et al., Causal discovery in physical systems from videos (2020) Proc. NeurIPS.

[21] D. Bieber et al., Learning to execute programs with instruction pointer attention graph neural networks (2020) Proc. NeurIPS.

[22] A. Kazi et al., Differentiable Graph Module (DGM) for graph convolutional networks (2020) arXiv:2002.04999

[23] D. D. Johnson, H. Larochelle, and D. Tarlow., Learning graph structure with a finite-state automaton layer (2020). arXiv:2007.04929.

[24] T. Pfaff et al., Learning mesh-based simulation with graph networks (2020) arXiv:2010.03409.

[25] T. Kipf et al., Contrastive learning of structured world models (2020) Proc. ICLR

[26] F. Locatello et al., Object-centric learning with slot attention (2020) Proc. NeurIPS.

[27] W. Azizian and M. Lelarge, Characterizing the expressive power of invariant and equivariant graph neural networks (2020) arXiv:2006.15646.

[28] A. Loukas, What graph neural networks cannot learn: depth vs width (2020) Proc. ICLR.

[29] Z. Chen et al., Can graph neural networks count substructures? (2020) Proc. NeurIPS.

[30] A. Bojchevski et al., Scaling graph neural networks with approximate PageRank (2020) Proc. KDD.

[31] E. Rossi et al., Temporal Graph Networks for deep learning on dynamic graphs (2020) arXiv:2006.10637.

[32] S. Kumar, X. Zhang, and J. Leskovec, Predicting dynamic embedding trajectory in temporal interaction networks (2019) Proc. KDD.

[33] R. Trivedi et al., DyRep: Learning representations over dynamic graphs (2019) Proc. ICLR.

[34] D. Xu et al., Inductive representation learning on temporal graphs (2019) Proc. ICLR.

[35] M. Noorshams, S. Verma, and A. Hofleitner, TIES: Temporal Interaction Embeddings for enhancing social media integrity at Facebook (2020) arXiv:2002.07917.

[36] X. Wang et al., APAN: Asynchronous Propagation Attention Network for real-time temporal graph embedding (2020) arXiv:2011.11545.

[37] E. A. Meirom et al., How to stop epidemics: Controlling graph dynamics with reinforcement learning and graph neural networks (2020) arXiv:2010.05313.

[38] S. Hooker, Hardware lottery (2020), arXiv:2009.06489.

[39] P. E. Sarlin et al., SuperGlue: Learning feature matching with graph neural networks (2020). Proc. CVPR.

[40] S. Ruhk et al., Learning representations of irregular particle-detector geometry with distance-weighted graph networks (2019) arXiv:1902.07987.

[41] J. Shlomi, P. Battaglia, J.-R. Vlimant, Graph Neural Networks in particle physics (2020) arXiv:2007.13681.

[42] J. Krupa et al., GPU coprocessors as a service for deep learning inference in high energy physics (2020) arXiv:2007.10359.

[43] A. Heintz et al., Accelerated charged particle tracking with graph neural networks on FPGAs (2020) arXiv:2012.01563.

[44] M. Cranmer et al., Discovering symbolic models from deep learning with inductive biases (2020) arXiv:2006.11287. Miles Cranmer is unrelated to Kyle Cranmer, though both are co-authors of the paper. See also the video presentation of the paper.

[45] Q. Cai et al., A survey on multimodal data-driven smart healthcare systems: Approaches and applications (2020) IEEE Access 7:133583–133599

[46] K. Gopinath, C. Desrosiers, and H. Lombaert, Graph domain adaptation for alignment-invariant brain surface segmentation (2020) arXiv:2004.00074

[47] J. Liu et al., Identification of early mild cognitive impairment using multi-modal data and graph convolutional networks (2020) BMC Bioinformatics 21(6):1–12

[48] H. E. Manoochehri and M. Nourani, Drug-target interaction prediction using semi-bipartite graph model and deep learning (2020). BMC Bioinformatics 21(4):1–16

[49] Y. Huang and A. C. Chung, Edge-variational graph convolutional networks for uncertainty-aware disease prediction (2020) Proc. MICCAI

[50] L. Cosmo et al., Latent-graph learning for disease prediction (2020) Proc. MICCAI

[51] G. Vivar et al., Simultaneous imputation and disease classification in incomplete medical datasets using Multigraph Geometric Matrix Completion (2020) arXiv:2005.06935.

[52] X. Li and J. Duncan, BrainGNN: Interpretable brain graph neural network for fMRI analysis (2020) bioRxiv:2020.05.16.100057

[53] X. Yu et al., ResGNet-C: A graph convolutional neural network for detection of COVID-19 (2020) Neurocomputing.

[54] P. Gainza et al., Deciphering interaction fingerprints from protein molecular surfaces using geometric deep learning (2020) Nature Methods 17(2):184–192.

[55] F. Sverrisson et al., Fast end-to-end learning on protein surfaces (2020) bioRxiv:2020.12.28.424589.

[56] A. Klimovskaia et al., Poincaré maps for analyzing complex hierarchies in single-cell data (2020) Nature Communications 11.

[57] J. Jumper et al., High accuracy protein structure prediction using deep learning (2020) a.k.a. AlphaFold 2.0 (paper not yet available).

[58] J. M. Stokes et al., A deep learning approach to antibiotic discovery (2020) Cell 180(4):688–702.

[59] D. Morselli Gysi et al., Network medicine framework for identifying drug repurposing opportunities for COVID-19 (2020) arXiv:2004.07229.

相關焦點

  • 圖網絡未來幾何?12位學者寄望2021大爆發
    但儘管如此,GNN作為一項方興未艾的研究領域,在 2020年依然取得了諸多進展,在2021年也依然存在許多亟待挖掘的課題。 在新年伊始,以色列計算機科學家 Michael Bronstein 徵求了 12 位在Graph ML及其應用領域做出傑出工作的研究人員的意見,對過去一年 GML 領域的亮點進行了總結,並預測了2021年的發展,內容涉及GNN研究的方方面面。 1.
  • 圖機器學習有多大神力?一文帶你回顧2020,展望2021
    【新智元導讀】近兩年,圖機器學習可謂是機器學習研究領域的新星,隨著模型的更新和應用的推廣,越來越多的人開始把注意力轉向了這一方向。過去一年中,圖機器學習在哪方面有突破呢,在未來的一年中,哪些分支和方向會成為新的研究趨勢呢?這篇文章,帶你領略該領域諸多名人的最新思考。2020年,圖機器學習成為了機器學習領域中炙手可熱的」明星「。
  • 回顧2020年我國幹細胞研究進展,2021年幹細胞技術走向如何?
    回顧2020年的幹細胞研究進展,如果讓小編用一個關鍵詞形容,那麼用「穩定推進」最為合適。2015年之前我國幹細胞經歷了一股「幹細胞熱潮」,2016起,我國的幹細胞研究便在國家的監督調整之下逐步開放,2020年我國幹細胞研究有序開展並穩定推進!
  • LED顯示屏海外市場2021年或將迎來大爆發?
    如今,艱難曲折的2020年終於走近尾聲,在經濟形勢逐步恢復的情況下,不少企業開始對明年的海外市場有所期望,艾比森技術創新中心總經理石昌金在11月22日焦點論壇上表示,明年LED顯示屏海外市場將迎來大爆發。對此,業內人士各持己見,不置可否。那麼,LED顯示行業能否實現觸底反彈,在2021年迎來大爆發呢?
  • 2020年社會信用體系建設進展及2021年展望
    原標題:【新華財經年報】2020年社會信用體系建設進展及2021年展望   核心提示:2020年,完善和規範是信用工作主線,中央多次部署完善社會信用體系建設工作
  • 我們途經四季,讓故事「復甦」——格致論道•灣區第五期回顧
    我們途經四季,讓故事「復甦」——格致論道•灣區第五期回顧 2020-06-22 02:42 來源:澎湃新聞·澎湃號·政務
  • 2021年重要的機器學習和A人工智慧的發展趨勢
    2021年重要的機器學習和A人工智慧的發展趨勢 Priya Dialani 發表於 2020-12-03 14:41:33 機器學習如今已經成為一種眾所周知的創新技術
  • 谷歌算法更新2020年回顧:核心更新、段落索引和頁面體驗
    2020年發生了很多變化,人們放慢了腳步,減少了在生意上的關注,而把更多注意力轉向了家庭。儘管疫情橫行,但業務還是要繼續,SEO也是如此,我們可以看到谷歌在這一年裡進行了大量的算法更新。從核心更新,到BERT的機器學習,段落索引,以及即將到來的谷歌頁面體驗更新和許多未經證實的變化都表明了,2020年穀歌搜索算法的進步速度並未受到太大的影響。
  • 2020年12月29日焦點圖
    12月28日,南寧動車所迎來一名高顏值新成員——CR300AF型復興號動車組,因車身採用「淺藍底色+紅色飄帶」配色,它被網友親切地稱為「藍暖男」。2021年春運期間,5組這樣的動車組,將在廣西多條線路上運行,服務壯鄉春運。
  • 2020年最後一個月,哪些事讓你記憶深刻?
    值得關注的 AI 人物方面,2020 ACM 傑出科學家名單出爐,葉傑平、崔鵬等 26 位華人學者上榜;Jeff Dean 獲得 2021 年度 IEEE 馮諾伊曼獎;2007 年圖靈獎得主 Edmund Clarke 逝世等。
  • 【年終大戲、重磅來襲】2020年宏觀經濟金融回顧與2021年展望
    來源於任博宏觀論道,作者任莊主 2020年最後一天,順祝各位元旦快樂,2021年靜待花開 就近期來看,值得關注的地緣政治事件大致包括11月15日RCEP的籤署(歷時8年)、12月24日英國歐盟達成貿易協議並自2021年1月1日全面脫歐(歷時4年)、中國宣布樂意加入CPTPP、中澳關係急劇惡化、一帶一路政治化以及12月30日中歐領導人共同宣布如期完成中歐投資協定談判等等。
  • 【重磅來襲】2020年宏觀經濟金融回顧與2021年展望
    年最低值已反彈65BP,但資金價格較2019年下行46BP、全年波動幅度更是高達178BP,同時中美利差(220BP左右)擴大至歷史最高位區間。就近期來看,值得關注的地緣政治事件大致包括11月15日RCEP的籤署(歷時8年)、12月24日英國歐盟達成貿易協議並自2021年1月1日全面脫歐(歷時4年)、中國宣布樂意加入CPTPP、中澳關係急劇惡化、一帶一路政治化以及12月30日中歐領導人共同宣布如期完成中歐投資協定談判等等。
  • 40張圖34件大事帶你回顧2020年,感動!最終我們還是迎來更好2021
    趙忠祥去世2020.1.16第一位進入白宮採訪總統的中國記者、主持過12場春晚、60年裡,陪伴三代人成長的《動物世界》和《人與自然》。我曾以為,那些陪伴我長大的人會永遠在我身邊。疫情初現2020.1.18己亥末,庚子春,荊楚大疫。
  • 火爆的圖機器學習,2020年將有哪些研究趨勢?
    來源:雷鋒網原標題:火爆的圖機器學習,2020年將有哪些研究趨勢?2019年絕對是圖機器學習(GML)大火的一年,凡是學術會議,圖神經網絡的會場總會爆滿。 圖機器學習的研究之所以在2019年突然變得火熱,原因在於,在前幾年儘管深度學習在歐氏空間中的數據方面取得了巨大的成功,但在許多實際的應用場景中的數據往往是從非歐式空間生成的。
  • 講座回顧|大數據告訴我們2021年SAT會這樣考
    講座中,大白老師介紹了2020年真題curve走勢、中國考生在不同試卷上的表現、北美和亞洲真題的區別、2021年考情預測等至關重要的點,小編今天就帶大家回顧講座精華。 2020的SAT評分標準(curve)友好嗎? 想要了解SAT,首先要了解curve是怎麼回事。
  • 艾山天文臺2020年流水回顧
    2020即將過去,青島艾山天文臺例行在12月的月末推出第七個全年回顧,以此與一直支持艾山天文臺發展的同仁展望2021。 一、「央視頻」設立直播間
  • Uniswap2020回顧 交易量破580億美元 年增15000%
    Uniswap在12月31日發布了《2020 年度回顧》文章,提到全年累積交易量超過580億美元,比2019年多出150倍。也許下新年新希望,預告2021年的團隊開發重點方向。2020年是Uniswap協議取得突破的一年,是DeFi狂熱不可或缺的角色。
  • 科技雲報導:2021年,Serverless大爆發的時間到了!
    作為雲計算的第三代技術,Serverless技術因為可以幫助用戶進一步降低成本而迎來了大爆發的時刻。2020年是Serverless技術的元年,採用無伺服器Serverless技術的用戶,將享受1ms時間的計費粒度,讓企業人員真正關注業務,而將雲系統配置、運維交給雲服務商,從而大幅度降低成本。
  • 2020年人工智慧十大技術進展
    進展1:OpenAI發布全球規模最大的預訓練語言模型GPT-3 2020年5月,OpenAI發布了迄今為止全球規模最大的預訓練語言模型GPT-3。 進展3:深度勢能分子動力學研究獲得戈登·貝爾獎 2020年11月19日,在美國亞特蘭大舉行的國際超級計算大會SC20上,智源學者、北京應用物理與計算數學研究院王涵所在的「深度勢能」團隊,獲得了國際高性能計算應用領域最高獎項「戈登·貝爾獎」。
  • 5張圖讀懂2020年和2021年全球經濟全貌
    來源:金十數據新冠疫情使全球經濟陷入有史以來最嚴重的衰退之中,目前尚不清楚經濟什麼時候才能全面復甦。最近,在疫苗方面取得的最新進展給經濟前景帶來了希望。但一些經濟學家表示,發展中國家的疫苗推廣速度可能會比較緩慢,這將阻礙經濟活動恢復到疫情前的水平。