全面回顧2020年圖機器學習進展,12位大神論道、寄望2021年大爆發!

2021-02-08 AI 科技評論

作者 |Michael Bronstein

編譯 | Mr.Bear

編輯 | 陳大鑫

圖機器學習在 2020 年大放異彩,各種新理論和新應用精彩紛呈。

就在近日,倫敦帝國理工學院教授、推特圖學習研究負責人Michael Bronstein與圖機器學習領域的多位資深研究者進行了深入交流,對該領域在過去的一年中的進展進行了較為全面的盤點,並預測了未來發展的方向。

1

消息傳遞機制

Will Hamilton,麥吉爾大學助理教授,Mila 的 CIFAR 主席,GraphSage作者。

「2020 年,圖機器學習領域開始受限於消息傳遞範式的本質缺陷。」

上述缺陷包含人們常說的「瓶頸」、「過平滑」[2]等問題,以及表徵能力的理論限制[3,4]。展望未來,我們希望研究人員在 2021 年開始尋找圖機器學習的下一種核心範式。目前,我們還不確定下一代圖機器學習算法應該是怎樣的,但是我們相信該領域的進步有賴於大家擺脫在 2020 年及以前佔據主導地位的消息傳遞機制。

在 2021 年,我們希望圖機器學習技術能夠走進更具影響力和挑戰性的應用領域。近年來,有太多研究工作都著眼於簡單、同質化的節點分類任務。此外,我們還希望能看到該領域能夠在需要更複雜的算法推理的任務上取得方法論上的研究進展(例如,涉及知識圖譜、強化學習,以及組合優化等問題的任務)。

2

算法推理

圖 1:指針圖網絡(Pointer Graph Networks)融合了來自經典計算機科學的結構化歸納偏置。

Petar Velikovi,DeepMind 高級研究員,圖注意力網絡(GAT)作者。

顯然,圖表徵學習在 2020 年已經不可逆轉地成為了機器學習領域最受矚目的課題之一。

在 2020 年,圖機器學習領域取得了不勝枚舉的研究進展,神經算法推理是最令人振奮的課題之一。傳統意義上,神經網絡在插值方面十分強大,但是眾所周知,神經網絡是一種較差的外推器(extrapolator)。

由於推理的主要特徵之一就是能夠在訓練數據分布之外發揮作用,因此神經網絡的推理能力不足。推理任務可能是進一步發展圖神經網絡(GNN) 的理想場景,這不僅因為我們認為 GNN 非常適用於推理任務,還因為許多真實世界中的圖任務具有同質性,這意味著更加簡單的 GNN 往往是最有效且可擴展的[6,7]。

基於歷史上的神經圖靈機[8]、可微神經計算機[9]等神經執行器(neural executors)的成功,受益於現在廣為使用的各種圖機器學習工具包,2020 年發表的一些研究工作從理論上探究了神經執行器的缺陷[5,10,11],提出了一些基於 GNN 的強大的新推理架構[12-15],並且在神經推理任務上具有完美的泛化性能[16]。在 2021 年,這樣的架構可以自然而然地促進組合優化研究領域[17]的發展,我們也非常希望看到預訓練的算法執行器可以幫助我們將經典算法應用到未經處理的、甚至不適合這些算法的輸入上。

例如,XLVIN 智能體[18]正是使用了上述概念。它使 GNN 在即使不知道底層具體的馬爾科夫決策過程(MDP)的情況下,也可以在強化學習工作流程中執行「值迭代」式的算法。我們相信在 2021 年,將 GNN 廣泛應用於強化學習的時機將會成熟。

3

關係結構發現

圖 2:GNN 使我們可以學習用於解釋多粒子系統(左圖)的狀態轉移圖(右圖)。

Thomas Kipf,谷歌大腦研究科學家,圖卷積網絡(GCN)作者。

自從最近基於 GNN 的模型被廣泛採用以來,圖機器學習社區中一個值得注意的趨勢是:將計算結構與數據結構分離開來。

在 ICML 2020 的研討會演講「關係結構發現」中,我介紹了這一趨勢。通常而言,我們設計的圖神經網絡會在一個由數據集給出的固定(或者按時序演進)的結構上傳遞消息,即數據集的節點和邊會被作為計算結構或我們模型的消息傳遞結構的金標準。在 2020 年,我們已經看到人們對能夠適應計算結構(也就是使用哪些部件作為節點,在哪些節點對之間進行消息傳遞)的模型越來越感興趣,而不僅僅是基於注意力的模型。

2020 年發表的「Amortised Causal Discovery」是該領域的一個頗有影響力的例子[19,20],它使用了神經關係推理技術根據時間序列數據來推理因果圖。該領域的其它重要工作還包括:具有可學習指針的 GNN[21,15]、具有關係機制的GNN[22,23]、通過自適應的計算圖學習基於網格的物理仿真器[24]、學習推理執行計算的抽象節點的模型[25]。

這些研究進展具有廣泛的啟發意義,使我們可以有效地在其它的領域(例如文本或視頻處理)利用 GNN 架構提供的對稱性(例如,節點排列等變性)和歸納偏置(例如,對成對的交互函數建模)。

展望未來,我們希望可以看到在給定數據和任務的情況下,如何通過不依賴於顯式的監督學習最優的計算圖結構(同時考慮節點和關係)。通過仔細分析這些學習到的結構,我們可能獲得更好的對於模型為了解決任務而執行的計算的解釋,並且可能使我們進一步類比因果推理。

4

表達能力

Haggai Maron,英偉達研究科學家,「provably expressive high-dimensional graph neural networks」作者。

圖神經網絡的表達能力是 2020 年圖機器學習領域的核心問題之一。

2020 年,有許多優秀的論文討論了各種 GNN 架構的表達能力[27],指出了由於深度和寬度的限制,導致 GNN 存在根本上的表達能力局限性[28]。此外,也有一些工作描述了 GNN 可以檢測出怎樣的結構並對其進行計數[28],說明使用固定數量的 GNN 對於許多圖任務並沒有意義。在論文「Towards scale-invariant graph-related problem solving by iterative homogeneous graph neural networks」中,作者則提出了一種迭代式的 GNN,可以學會自適應地終止消息傳遞過程[14]。

在 2021 年,我們希望看到研究社區在「條理化的圖生成模型方法」,「基於 GNN 的圖匹配與 GNN 的表達能力之間的聯繫」,「學習圖像、音頻等結構化數據的圖」等方面取得進展。此外,我們還期待 GNN 研究社區和計算機視覺研究社區在場景圖領域有更深入的合作。

5

可擴展性

Matthias Fey,多特蒙德工業大學博士生,PyTorch Geometric和 Open Graph Benchmark的作者。

2020 年,解決 GNN 的可擴展性問題是圖機器學習研究領域最熱門的話題之一。

近年來,一些方法依賴於通過將預測與傳播的過程解耦來簡化底層的計算。有大量的論文直接將不可訓練的傳播方案作為預處理[30,7]或後處理[6]步驟與「圖無關」的模塊結合起來。這會使得運行時間得到顯著的優化,尤其是在同質圖上的性能並沒有下降。

隨著使用越來越大的數據集,我們希望看到圖學習的可擴展性有更大的進展,以及如何以一種可擴展的方式使用可訓練的、表達能力強的消息傳播。

6

動態圖

圖 3:動態圖示例

Emanuele Rossi,Twitter 機器學習研究員、帝國理工博士生,Temporal Graph Networks作者。

許多有趣的圖機器學習應用本質上是動態的,其中圖的拓撲結構和屬性都會隨著時間演化。

在社交網絡、金融交易網絡或「用戶-物料」交互網絡中,我們往往面對的就是動態圖場景。直到最近,絕大多數圖機器學習的研究重點關注的仍然是靜態圖。現有的少量嘗試研究動態圖的工作主要考慮的是「離散時間動態圖」,即一系列在規則的時間間隔上對圖進行快照。在 2020 年,我們看到一些關於更普適化的「連續時間動態圖」的工作湧現了出來[31-34],我們可以將這種動態圖視為時序時間的異步流。此外,第一批動態圖模型的有趣的成功應用也誕生了:虛假帳戶檢測[35]、欺詐檢測[36]、流行病傳播控制[37]等。

目前,我們仍然只是觸及了這個令人振奮的研究方向的皮毛,許多有趣的問題還有待解決。其中,重要的開放性問題包括可擴展性、對於動態模型更好的理論解釋、在同一個框架中結合信息在時間和空間上的傳播。我們還需要更加可靠和更具挑戰性的對比基準,從而保證研究進展可以被更好地評估和跟蹤。最後,我們希望看到動態圖神經網絡更成功的應用,特別是在工業領域。

7

新的硬體

圖 4:Graphcore 是一家為圖模型開發新型硬體的半導體公司。

Mark Sarougim,Graphcore機器學習工程師。

在我所共事過的人中,我想不出還有誰沒有在生產中部署過圖神經網絡,或者正考慮這麼做。

以往,自然語言處理、蛋白質設計、分子特性預測等應用中的自然的圖結構往往會被忽視,而這些數據會被作為適用於現有的機器學習模型(例如 Transformer)的序列輸入。然而,Transforemer 只不過是將注意力作為鄰居節點之間聚合函數的 GNN(https://thegradient.pub/transformers-are-graph-neural-networks/)。在計算過程中,有些算法之所以取得很好的效果並不是因為它們適用於某種任務,而是因為它們在現有的硬體上運行良好,我們將這種現象稱為「硬體彩票」[38],而 Transformer 在 GPU 上運行取得的效果就屬於這種情況。

在 Graphcore,研究人員已經構建了一種新的多指令流多數據流(MIMD)架構,它具有 1,216 個可以並行運行 7,296 個程序的核心,我們將其稱為智能處理單元(IPU)。這種架構非常適用於對 GNN 的加速。Graphcore 的 Polar 軟體棧利用稀疏性將計算圖的不同節點分配給不同的核。對於能夠裝載入 IPU 的 900MB 片上內存的模型,這種新的架構大大提高了 GPU 的吞吐量,只需幾行代碼就可以將模型分布到數千個 IPU 上。

目前,Graphcore 的用戶利用這些優勢構建了大量的研究工作,例如:SLAM 的光束法平差、使用局部更新訓練深度網絡、加速一系列粒子物理學中的問題。

8

在工業界的應用

圖 5:MagicLeap 的 SuperGlue 將 GNN 用於解決經典的計算機視覺問題——特徵匹配。

Sergey Ivanov,Criteo 研究科學家,《Graph Machine Learning newsletter」》編輯。

對於圖機器學習研究領域來說,2020 年是令人震驚的一年。所有的機器學習會議都包含 10-20% 有關該領域的投稿。因此,每個人都可以找到自己感興趣的有關圖的課題。

谷歌Graph Mining團隊在 NeurIPS 上表現十分搶眼。從這份 312 頁的演示文稿(https://gm-neurips-2020.github.io/master-deck.pdf)中,我們可以看出谷歌在生產環節中對圖的使用已經超越了競爭對手們。谷歌對圖機器學習技術的應用包括:使用時空 GNN 對 COVID-19 進行建模、欺詐檢測、隱私保護等。此外,DeepMind 還在谷歌地圖上推出了用於全球旅行時間預測的 GNN。該方法的一個有趣的技術細節是:他們將強化學習模型融合到了單個 batch 中,用於選擇相似的採樣得到的子圖,從而訓練 GNN 的參數。該方法和先進的超參數調優策略使實時到達時間的估計準確率提升了 50% 以上。

Magic Leap 是另一個值得注意的 GNN 應用,它被專門用於 3D 計算機生成圖形。它們的 SuperGlue 架構將 GNN 用於圖像中的特徵匹配[39],這是三維重建、位置識別、定位和製圖領域的重要課題。這種端到端的特徵表徵與最優傳輸優化相結合,在實時的室內和室外姿態估計任務中取得了優異成績。而上述成果只是研究者們在 2020 年取得成果的冰山一角。

在 2021 年,我們相信可以看到圖機器學習在工業環境下的進一步應用。相關的進展包括生產流程和框架、新型開源圖數據集、GNN 在電子商務、工程設計,以及製藥工業方面的大規模部署。

9

在物理學的應用

圖 6:通過圖表示的粒子射流。GNN 被用於檢測粒子物理學中的現象。

Kyle Cranmer,紐約大學物理教授,希格斯玻色子的發現者之一。

我們驚訝地發現,圖機器學習在過去的兩年中已經在物理學研究領域盛行。

早期在粒子物理學中使用深度學習的工作常常迫使將數據表示成圖像的形式以用 CNN 處理。由於粒子物理學領域的數據不是網格狀的,並且圖像表徵十分稀疏,所以這種工作機制並不自然,而圖可以更自然地表徵粒子物理學數據[40,41]。

大型強子對撞機的研究人員現在正致力於將圖機器學習集成到每秒處理數十億次碰撞的實時數據處理系統中。通過部署推理伺服器將圖機器學習與實時數據採集系統集成[42],並且在可編程門陣列(FPGA)和其他特殊硬體[43]上實現這些算法,可以實現這一目標。

在 2020 年,圖機器學習的一大亮點是它的歸納偏置可以與符號方法配合使用。例如,我們可以使用 GNN 學習如何預測各種動力系統,然後對沿著邊上傳輸的消息進行符號回歸[44]。我們不僅能夠恢復出真實的力學定律,還可以在沒有真實標註的情況下提取方程。令人驚訝的是,提取到的符號方程可以被重新引入到 GNN 中,替換原來學習到的部分,因此我們可以更好地泛化到訓練數據分布之外的情況。

10

在醫療領域的應用

圖 7:GNN 可以將患者關係圖用於疾病診斷。

Anees Kazi,慕尼黑工業大學博士生,發表過多篇將圖機器學習用於醫學影像的論文。

在醫學領域中,圖機器學習轉變了我們分析多模態數據的方式,這種方式與醫學專家在臨床中根據所有可知的維度觀察病人情況的方式非常相近。

近年來,醫學影像與醫療保健應用領域[45]中與圖機器學習相關的研究紛紛湧現了出來,包括腦圖像分割[46]、使用 MRI/fMRI 數據的旨在預測疾病的腦部結構分析[47],以及藥物作用分析[48]。

2020 年,一些圖機器學習領域的課題在醫學領域中十分突出:

(1)潛在圖學習[22,49,50],由於根據經驗為給定的數據定義一個圖一直是獲得最優輸出的瓶頸,研究人員通過自動學習潛在的圖結構解決了這一問題。

(2)數據填充[51],由於缺失數據是許多醫學數據集長期存在的問題,基於圖的方法可以利用圖鄰域的關係幫助我們對數據進行填充。

(3)圖機器學習模型的可解釋性[52],由於對於臨床醫生和技術專家來說,為了將圖機器學習模型可靠地整合到計算機輔助系統中,他們非常關注對圖機器學習模型的輸出進行推理。當然,新冠病毒的大流行是 2020 年醫學領域的研究熱點,而圖機器學習方法也被用於 COVID-19 的檢測[53]。

2021 年,圖機器學習模型可以被進一步用於提升機器學習模型的可解釋性,從而做出更好的決策。此外,我們發現圖機器學習方法對於圖結構仍然十分敏感,因此對於圖擾動和對抗攻擊的魯棒性也是一個重要的課題。最後,將自監督學習引入被用於醫學領域的圖機器學習也是十分有趣的研究課題。

11

在生物信息學的應用

圖 8:使用集合機器學習架構 MaSIP 設計的不同腫瘤靶蛋白結合物。

Bruno Correia,洛桑聯邦理工學院助理教授,蛋白質設計與免疫工程實驗室主任,MaSIF的開發者之一。

2020 年,作為生物信息學領域中的一個關鍵問題,蛋白質結構預測取得了激動人心的進展,分子表面的化學和幾何模式對蛋白質功能至關重要。

基於表面的分子表徵已經被研究人員使用了幾十年,但它們對機器學習方法提出了挑戰。幾何深度學習領域的方法為蛋白質建模領域帶來了令人印象深刻的能力,因為它們能夠處理不規則數據,尤其適合於蛋白質表示。在 MaSIF[1] 中,作者將幾何深度學習用於基於網格的分子表面表徵,從而學習使我們能夠預測蛋白質與其它分子交互(蛋白質與代謝物)的模式,並將對接計算的速度提高了幾個數量級。反過來,這可以促進規模大得多的蛋白質-蛋白質交互網絡預測。

在對 MaSIF 框架[2]接下來的開發中,作者成功地生成了表面和化學的特徵,避免了所有的預先計算。作者認為這些進展將會對蛋白質和小分子設計產生革命性的影響,從長遠來看,這些成果可能有助於加快生物藥物的研發。

12

在生命科學的應用

圖 9:被用於複方藥物副作用預測十邊形的 GNN。

Marinka Zitnik,哈佛大學醫學院生物醫學信息學助理教授,Decagon的作者。

看到圖機器學習在 2020 年進軍生命科學領域令人十分振奮。

我們已經看到,圖神經網絡不僅在精心設計的對比基準數據集上性能優於之前的方法,還為研發新藥開闢了新的途徑,這對人們有很大的幫助。圖神經網絡還可以幫助人們在從根本上理解自然。相關的重要研究工作包括:單細胞生物學[56]、蛋白質和結構生物學[54,57]、重定位等方面的研究進展[59]。

幾個世紀以來,科學方法(科學家們用來系統地、邏輯化地解釋自然世界的科學的基本實踐)在很大程度上保持不變,我們希望在 2021 年,科學家們可以使用圖機器學習為其帶來實質性的進展。為了實現這一目標,我們需要設計一些方法來優化並操縱網絡化的系統並預測它們的行為。例如,從疾病的角度來看,基因組學如何影響人類的特徵。這些方法需要能夠應對受幹擾和人為幹預的數據(而不僅僅是處理現實世界中觀測到的數據)。

同時,我們還希望研究者們能夠開發出更多的方法來學習可操作的表徵,它們可以很容易地成為科學上可執行的假設。這些方法使我們可以在高風險的環境下做出決策(例如,化學測試、粒子物理學、人類臨床試驗),在這種情況下我們需要精確、魯棒、可解釋的預測結果。

原文連結:

https://towardsdatascience.com/predictions-and-hopes-for-graph-ml-in-2021-6af2121c3e3d

參考文獻

[1] U. Alon and E. Yahav, On the bottleneck of graph neural networks and its practical implications (2020) arXiv:2006.05205.

[2] Q. Li, Z. Han, X.-M. Wu, Deeper insights into graph convolutional networks for semi-supervised learning (2019) Proc. AAAI.

[3] K. Xu et al. How powerful are graph neural networks? (2019) Proc. ICLR.

[4] C. Morris et al. Weisfeiler and Leman go neural: Higher-order graph neural networks (2019) Proc. AAAI.

[5] K. Xu et al. What can neural networks reason about? (2019) arXiv:1905.13211.

[6] Q. Huang et al. Combining label propagation and simple models out-performs graph neural networks (2020) arXiv:2010.13993.

[7] F. Frasca et al. SIGN: Scalable Inception Graph Neural Networks (2020) arXiv:2004.11198.

[8] A. Graves, G. Wayne, and I. Danihelka, Neural Turing Machines (2014) arXiv:1410.5401.

[9] A. Graves et al. Hybrid computing using a neural network with dynamic external memory (2016). Nature 538:471–476.

[10] G. Yehuda, M. Gabel, and A. Schuster. It’s not what machines can learn, it’s what we cannot teach (2020) arXiv:2002.09398.

[11] K. Xu et al. How neural networks extrapolate: From feedforward to graph neural networks (2020) arXiv:2009.11848.

[12] P. Velikovi et al., Neural execution of graph algorithms (2019) arXiv:1910.10593.

[13] O. Richter and R. Wattenhofer, Normalized attention without probability cage (2020) arXiv:2005.09561.

[14] H. Tang et al., Towards scale-invariant graph-related problem solving by iterative homogeneous graph neural networks (2020) arXiv:2010.13547.

[15] P. Velikovi et al. Pointer Graph Networks (2020) Proc. NeurIPS.

[16] Y. Yan et al. Neural execution engines: Learning to execute subroutines (2020) Proc. ICLR.

[17] C. K. Joshi et al. Learning TSP requires rethinking generalization (2020) arXiv:2006.07054.

[18] A. Deac et al. XLVIN: eXecuted Latent Value Iteration Nets (2020) arXiv:2010.13146.

[19] S. Lwe et al., Amortized Causal Discovery: Learning to infer causal graphs from time-series data (2020) arXiv:2006.10833.

[20] Y. Li et al., Causal discovery in physical systems from videos (2020) Proc. NeurIPS.

[21] D. Bieber et al., Learning to execute programs with instruction pointer attention graph neural networks (2020) Proc. NeurIPS.

[22] A. Kazi et al., Differentiable Graph Module (DGM) for graph convolutional networks (2020) arXiv:2002.04999

[23] D. D. Johnson, H. Larochelle, and D. Tarlow., Learning graph structure with a finite-state automaton layer (2020). arXiv:2007.04929.

[24] T. Pfaff et al., Learning mesh-based simulation with graph networks (2020) arXiv:2010.03409.

[25] T. Kipf et al., Contrastive learning of structured world models (2020) Proc. ICLR

[26] F. Locatello et al., Object-centric learning with slot attention (2020) Proc. NeurIPS.

[27] W. Azizian and M. Lelarge, Characterizing the expressive power of invariant and equivariant graph neural networks (2020) arXiv:2006.15646.

[28] A. Loukas, What graph neural networks cannot learn: depth vs width (2020) Proc. ICLR.

[29] Z. Chen et al., Can graph neural networks count substructures? (2020) Proc. NeurIPS.

[30] A. Bojchevski et al., Scaling graph neural networks with approximate PageRank (2020) Proc. KDD.

[31] E. Rossi et al., Temporal Graph Networks for deep learning on dynamic graphs (2020) arXiv:2006.10637.

[32] S. Kumar, X. Zhang, and J. Leskovec, Predicting dynamic embedding trajectory in temporal interaction networks (2019) Proc. KDD.

[33] R. Trivedi et al., DyRep: Learning representations over dynamic graphs (2019) Proc. ICLR.

[34] D. Xu et al., Inductive representation learning on temporal graphs (2019) Proc. ICLR.

[35] M. Noorshams, S. Verma, and A. Hofleitner, TIES: Temporal Interaction Embeddings for enhancing social media integrity at Facebook (2020) arXiv:2002.07917.

[36] X. Wang et al., APAN: Asynchronous Propagation Attention Network for real-time temporal graph embedding (2020) arXiv:2011.11545.

[37] E. A. Meirom et al., How to stop epidemics: Controlling graph dynamics with reinforcement learning and graph neural networks (2020) arXiv:2010.05313.

[38] S. Hooker, Hardware lottery (2020), arXiv:2009.06489.

[39] P. E. Sarlin et al., SuperGlue: Learning feature matching with graph neural networks (2020). Proc. CVPR.

[40] S. Ruhk et al., Learning representations of irregular particle-detector geometry with distance-weighted graph networks (2019) arXiv:1902.07987.

[41] J. Shlomi, P. Battaglia, J.-R. Vlimant, Graph Neural Networks in particle physics (2020) arXiv:2007.13681.

[42] J. Krupa et al., GPU coprocessors as a service for deep learning inference in high energy physics (2020) arXiv:2007.10359.

[43] A. Heintz et al., Accelerated charged particle tracking with graph neural networks on FPGAs (2020) arXiv:2012.01563.

[44] M. Cranmer et al., Discovering symbolic models from deep learning with inductive biases (2020) arXiv:2006.11287. Miles Cranmer is unrelated to Kyle Cranmer, though both are co-authors of the paper. See also the video presentation of the paper.

[45] Q. Cai et al., A survey on multimodal data-driven smart healthcare systems: Approaches and applications (2020) IEEE Access 7:133583–133599

[46] K. Gopinath, C. Desrosiers, and H. Lombaert, Graph domain adaptation for alignment-invariant brain surface segmentation (2020) arXiv:2004.00074

[47] J. Liu et al., Identification of early mild cognitive impairment using multi-modal data and graph convolutional networks (2020) BMC Bioinformatics 21(6):1–12

[48] H. E. Manoochehri and M. Nourani, Drug-target interaction prediction using semi-bipartite graph model and deep learning (2020). BMC Bioinformatics 21(4):1–16

[49] Y. Huang and A. C. Chung, Edge-variational graph convolutional networks for uncertainty-aware disease prediction (2020) Proc. MICCAI

[50] L. Cosmo et al., Latent-graph learning for disease prediction (2020) Proc. MICCAI

[51] G. Vivar et al., Simultaneous imputation and disease classification in incomplete medical datasets using Multigraph Geometric Matrix Completion (2020) arXiv:2005.06935.

[52] X. Li and J. Duncan, BrainGNN: Interpretable brain graph neural network for fMRI analysis (2020) bioRxiv:2020.05.16.100057

[53] X. Yu et al., ResGNet-C: A graph convolutional neural network for detection of COVID-19 (2020) Neurocomputing.

[54] P. Gainza et al., Deciphering interaction fingerprints from protein molecular surfaces using geometric deep learning (2020) Nature Methods 17(2):184–192.

[55] F. Sverrisson et al., Fast end-to-end learning on protein surfaces (2020) bioRxiv:2020.12.28.424589.

[56] A. Klimovskaia et al., Poincaré maps for analyzing complex hierarchies in single-cell data (2020) Nature Communications 11.

[57] J. Jumper et al., High accuracy protein structure prediction using deep learning (2020) a.k.a. AlphaFold 2.0 (paper not yet available).

[58] J. M. Stokes et al., A deep learning approach to antibiotic discovery (2020) Cell 180(4):688–702.

[59] D. Morselli Gysi et al., Network medicine framework for identifying drug repurposing opportunities for COVID-19 (2020) arXiv:2004.07229.

相關焦點

  • 多位行業大牛展望——2021或將迎來圖機器學習的大浪潮
    2020年,圖機器學習在機器學習領域大放異彩。本文將總結圖機器學習過去一年的亮點,並預測其在2021年的發展。讓我們一起來看看行業大牛們是怎麼說的吧麥吉爾大學助理教授和米拉(Mila)的CIFAR主席,GraphSAGE的作者威爾·漢密爾頓(Will Hamilton)2020年,圖機器學習領域迎來了消息傳遞範例的基本局限。
  • 圖機器學習有多大神力?一文帶你回顧2020,展望2021
    過去一年中,圖機器學習在哪方面有突破呢,在未來的一年中,哪些分支和方向會成為新的研究趨勢呢?這篇文章,帶你領略該領域諸多名人的最新思考。 2020年,圖機器學習成為了機器學習領域中炙手可熱的」明星「。 不管是剛入門的小白,還是在該領域深耕的專家,都會對該領域的迅速發展有深刻的體驗。
  • 深度| 從算法、硬體到研究社區,全面回顧2016年機器學習領域主要進展
    機器之心原創作者:微胖、吳攀人工智慧聖杯雖然遙遠,但這並不妨礙機器學習繼續在2016年高歌猛進,其中,深度學習仍是最亮眼的明星。機器學習的重大進展離不開三個核心內容:算法(或軟體)、硬體和數據。本文僅從算法(或軟體)、硬體角度梳理2016年機器學習領域(主要是深度學習)主要進展。
  • 兩院院士評選2020年中國、世界十大科技進展揭曉,「機器學習模擬上億原子」等入選 | AI日報
    兩院院士評選2020年中國、世界十大科技進展揭曉,「機器學習模擬上億原子
  • 2021全面大爆發!
    中國&廈門(海上花園)2021年,全面大爆發馬上要來了!!!即將進入2021年再次迎來重大機遇全新的城市升級風暴即將全面來臨2021,廈門城市建設全面加速發力!!海上花園:裂變!!!2021廈門交通大爆發地鐵全線捷報!3號線:近日,廈門地鐵3號線(廈門火車站至蔡厝站)實現軌通!預計將於2021年通車。
  • 【熱點回顧】日本政府上調2021財年經濟預估,寄望刺激舉措加快經濟...
    【熱點回顧】日本政府上調2021財年經濟預估,寄望刺激舉措加快經濟復甦;①日本政府調升對下一財年的經濟增長預估,得益於最近推出刺激計劃使經濟從疫情衝擊中加速復甦。②最新預估數據顯示,在2021年4月開始的財年,日本經物價調整的實質GDP或增長4.0%。7月時的預估為增長3.4%。③經濟預估上調受到本周早些時候獲批的政府第三輪追加預算支持。
  • 民政部召開會議全面總結2020年工作進展,部署2021年重點任務
    彰顯使命擔當 開啟嶄新徵程——民政部召開會議全面總結2020年工作進展,部署2021年重點任務慈善公益報(本報記者 鍾偉)12月26日,民政部召開全國民政工作視頻會議。民政部黨組書記、部長李紀恆出席會議並發表講話。
  • 洛杉磯樓市2020年市場回顧 VS 2021年投資指南
    洛杉磯樓市2020年市場回顧 縱觀2020年,洛杉磯的房地產市場不僅處於全國復甦的前沿,也處於全球復甦的前沿。就近期而言洛杉磯的房地產市場對投資者而言表現良好,以至於全世界都在關注。就此而言,沒有哪個城市比「天使之城」更能吸引國際投資者的注意。
  • 2020年社會信用體系建設進展及2021年展望
    原標題:【新華財經年報】2020年社會信用體系建設進展及2021年展望   核心提示:2020年,完善和規範是信用工作主線,中央多次部署完善社會信用體系建設工作
  • 2020年中國生物醫藥行業運行情況回顧及2021年發展前景預測
    一、2020年總結回顧1.生物醫藥行業相關利好政策據中商產業研究院粗略統計,2020年與生物醫藥行業相關的政策大約有6個。同時,綜合醫改試點省份在全省範圍內推行「兩票制」,鼓勵公立醫院綜合改革試點城市推行「兩票制」,鼓勵醫院與藥品生產企業直接結算藥品貨款、藥品生產企業與配送企業結算配送費用。
  • 12位專家談AI:2021年人工智慧發展趨勢(下)
    這篇由人工智慧和深度學習領域全球領先的活動機構RE•WORK發布的文章,原標題是AI Experts Predict 2021 Trends,作者是Nikita Johnson。不久前,該機構採訪了人工智慧領域的12位專家,並將專家們對2021年行業發展趨勢的看法匯總在了這篇文章中。這是文章的下篇,主要介紹的是剩餘6位專家的見解。
  • 2021最難考研年?2020年考研國家分數線回顧!
    2021最難考研年?2020年考研國家分數線回顧! 2021考研分數線什麼時候公布?2021研究生考研剛剛結束,2021考研分數線公布時間尚未確定,根據往年考試安排規律,2021考研分數線公布時間一般會在3月中上旬公布,具體時間以官網發布時間為準;2021考研國家線將在中國研招網(http://yz.chsi.com.cn/)公布。那麼,2021最難考研年?2021考研分數線查詢入口-研招網
  • 2020年最後一個月,哪些事讓你記憶深刻?
    值得關注的 AI 人物方面,2020 ACM 傑出科學家名單出爐,葉傑平、崔鵬等 26 位華人學者上榜;Jeff Dean 獲得 2021 年度 IEEE 馮諾伊曼獎;2007 年圖靈獎得主 Edmund Clarke 逝世等。
  • 2020年20個創意詞回顧 2021年一定會更好
    回顧2020這一年,20個創意詞很好總結了這一年發生的經歷,有感動,有淚水,有痛苦,也有遺憾,但這不平凡的一年終究就要過去了,那麼,2020年20個創意詞是什麼?下面小編就來說說。  20個創意詞回顧2020  這一年,聽了無數遍「新冠肺炎」;這一年,戴上口罩,因為我們想保護自己和彼此;這一年,星辰大海的探索從未止步;這一年,更加懂得珍惜與感恩。2020,有眼淚,有驕傲,更有打不倒的逆境重生。
  • 科技|12 位專家談 2021 年人工智慧的發展趨勢
    這篇由人工智慧和深度學習領域全球領先的活動機構RE WORK發布的文章,原標題是AI Experts Predict 2021 Trends,作者是Nikita Johnson。不久前,該機構採訪了人工智慧領域的12位專家,並將專家們對2021年行業發展趨勢的看法匯總在了這篇文章中。
  • 年終美股八大問:2020年美股回顧及2021年展望
    一、2020年美股行業板塊前三甲臨近美國聖誕節,一年中的主要交易日即將迎來尾聲,回顧今年美股的表現,可以說充滿了亮點。首先三月份的4次熔斷讓巴菲特大呼「活久見」。隨後美股一路上漲,11月,道瓊指數剛創下歷史新高,突破 30000點大關,自3月以來上漲63%。
  • 周志華教授公布IJCAI 2021投稿量:4204篇,相比去年下降10%!
    從下圖中則能清晰地看出IJCAI 歷年的錄用率逐年下降的趨勢,2020年12.6%的錄用率更是達到了史上最低最嚴格,這也是2020年AI頂會中錄用率最低的大會。至於今年IJCAI 2021論文投稿量不升反降,可能就與去年嚴格的錄用率有關:如果今年還是按照去年的錄用率,則意味著大概只有530篇論文會被錄用,剩下的3600餘篇都將成為炮灰。
  • 2020年麩皮精彩回顧及展望
    最後成功觸及1.00元/斤大關(圖上所示),遠超市場預料,也提振市場信心。 2020年麩皮行情簡要回顧 根據背後驅動因素轉化,現分階段重溫一下麩皮行情: 1月麩皮行情風平浪靜,春節前客戶備貨不積極,市場基本在0.65元/斤附近運行,但是春節之後,由於復工遲緩,下遊用戶補貨困難,價格迅速攀升,輕鬆突破0.70元/斤,高點觸及0.75-0.76元/斤,給市場帶來很強提振
  • 2020年,圖機器學習將走向何方?
    年已經過去了一個多月,但我們已經可以從最近的研究論文中一窺圖機器學習(Graph Machine Learning,GML)的趨勢。機器學習研究科學家 Sergei Ivanov 對 2020 年 GML 的發展趨勢發表了自己的看法,並討論了近期的相關研究論文。
  • ICML, KDD, SIGIR論文接受率回顧與2021提交時間一覽
    >Deadline: Tue Feb 02 2021 19:59:59 GMT+0800ICML作為國際機器學習大會在一些學者心中的地位很高,不僅因為它是所謂的頂會,更因為它在論文評審方面所做的一些開創性的工作