導語
隨著深度學習崛起和圖結構數據井噴，從複雜系統角度揭開人工智慧黑箱、利用人工智慧輔助複雜系統建模都成為可能。集智俱樂部組織了系列閉門讀書會，在7月5日的第一場討論中，張江直播分享了複雜系統建模的深度學習技術綜述。
本文是對直播內容的整理，錄播視頻已上線，地址見文末。7月12日（周日）晚將進行讀書會第二場，討論兩篇利用圖網絡技術實現複雜系統自動建模的經典文章。系列讀書會目前開放報名中，詳情見文末。
從上世紀50年代以來，「想要創造擁有和人一樣智能的機器」，一直都是學術界和工業界爭相追逐的課題，「人工智慧」這個領域也隨著人們對於「什麼是智能」這個問題的思考之下，曲折向上發展。隨著算力的提升，人工智慧的研究對象，逐漸由單個個體，發展到了系統，尤其是對複雜系統的研究。而在另一邊的複雜科學領域，對複雜系統進行建模，一直以來都是一個非常重要的科學問題，關乎人們對這個世界的理解和認知。於是，用人工智慧的技術，來對複雜系統進行建模，應勢而生。
為什麼要自動建模
過去，人們為了研究複雜系統，往往是通過經驗，人工構建模型。包括生命遊戲、Boid模型，SIR病毒傳播模型，偏好依附網絡增長模型、匹配生長模型、人工股市模型等等。
這些人工模型有其獨特的優點。首先，模型往往非常簡潔，比如 Boid 模型，通過簡單的三條規則就能模擬出鳥群看似複雜的行為；其次，人工模型通常會依據科學家的經驗，非常具有洞察性，使得它更能夠抓住事物的本質，如小世界模型，無標度模型都描述了網絡的本質特徵；另外，簡潔的模型也非常便於理論分析，也不需要很強的算力就能執行。
但人工模型有其很強的局限性。首先它太過簡單，以至於很難解釋更多的複雜現象，也很難與真實數據去做擬合，預測的精度也會較低。比如人工股票市場，雖然它構建了一套機制，使得整個系統能夠與真實股票漲落趨勢非常接近，但實際上，這套機制與真實市場中的個體行為是完全無關的，所以不能用來做真實預測。其次，人工模型的構建與否建模者的個人經驗非常相關，它沒有統一的建模規則，非常依賴建模者的能力和啟發性思考。 「如何對複雜系統進行自動建模」，這是一個迫切的需求。
自動建模發展5個階段
隨著大數據的積累和人工智慧，特別是深度學習技術的發展，使得我們可以通過數據驅動的方式，利用深度學習算法來自動構建複雜系統的模型。其基本流程如圖所示：
圖1：利用深度學習算法來自動構建複雜系統模型的基本流程
我們根據獲取到的複雜系統的觀測數據，利用 AI 系統，自動去構建出一個我們想要的模型，從而捕獲到複雜系統內部的規則。這樣，我們就能夠對真實的複雜系統做出預測，甚至是控制。 其實這個發展趨勢最近幾年已經在迅猛發展了。最近，Chaos期刊推出了用於複雜系統的機器學習特刊，從這些文章中可見整個領域的發展趨勢。
圖2：Chaos上最新的有關機器學習與複雜系統特刊 接下來，我將對「人工智慧自動建模」這個領域進行綜述。在這裡大體按照發展順序，將這一領域劃分成了五個階段。
階段1：基於RNN的模型
複雜系統的行為數據大多表現為時間序列，而RNN是時間序列預測的主要工具，因此用RNN來自動建模是一個主力方向。使用RNN進行建模，其記憶機制可以捕捉到複雜系統的長程關聯。
基於 RNN 的方法有非常多，這裡我們提一個跟複雜系統相關的工作。
在這個工作中，用 RNN 的一種變種模型「庫計算」（reservoir computing），具有強大的預測能力，甚至可以預測混沌模型：
圖3：火焰方程模擬（上）以及RNN的預測（下）
階段2：基於圖網絡的模型
圖神經網絡，簡稱圖網絡，是近年發展起來的一種模型。在這類模型中，它基於一個給定的圖結構，這被稱為基於關係的偏置先驗（inductive bias），學習一種網絡節點到連邊，連邊到節點的映射過程。由於模型將圖結構充分利用，能夠把握非常異質化的網絡起來，因此準確度可以大大高。 圖網絡特別適合對複雜系統進行自動建模，更多關於圖網絡的基礎信息，可以在圖神經網絡、網絡科學、系統科學綜合交叉入門一文詳細學習，這裡不再展開敘述。
圖4：圖網絡做動力學預測原理圖
這篇文章對圖網絡進行了很好的綜述：
Relational inductive biases, deep learning, and graph networksPeter W. Battaglia,Jessica B. Hamrick,Victor Bapst.et al.（2018）
在時間序列自動學習方面，下面這篇文章是很好的典範。圖網絡不僅很好地學習了動力學，預測出了「機器蛇」的運動行為，而且還能夠在學好的動力學上做控制，即給定目標位置，讓「機器蛇」模型演化中間的運動狀態。
Graph networks as learnable physics engines for inference and control Alvaro Sanchez-Gonzalez, Nicolas Heess, Jost Tobias Springenberg.et al.（2018）
下面這篇文章是彩雲天氣算法工程師的工作，將圖網絡應用於霧霾預測，並結合氣象領域知識，構建城市間的相互作用網絡模型，對預測霧霾有非常好的效果
PM2.5-GNN: A Domain Knowledge Enhanced Graph Neural Network For PM2.5 ForecastingShuo Wang,Yanran Li,Jiang Zhang.et al.arXiv（2020）
階段3：基於神經微分方程求的方法
2018年的 ICLR 會議上，一篇題為 Neural Ordinary Differential Equation 的文章引發了大量的關注。在短短 2 年不到的時間裡，已經在 Google Scholar 上獲得了 500+ 引用：
圖5：NeuralODE的引用情況
NeuralODE文章：
Neural Ordinary Differential EquationsRicky T. Q. Chen,Yulia Rubanova,Jesse Bettencourt.et al.arXiv（2018）
儘管有很多人批判這篇文章創新性欠佳，但是它的巧妙之處就在於在關鍵的時間點，對多方面發展起來的技術進行融匯貫通。
首先，儘管不是這篇文章首發，但它明確指出可以將ResNet拓展為一種微分方程的形式。於是，ResNet變成了無窮深的網絡，而神經網絡的訓練問題也變為了微分方程的求解問題。 其次，該文章提出了基於伴隨方程的訓練求解方法。
我們終於可以擺脫自動梯度反傳方法的束縛了。儘管人們發現這種方法除了可以節省內存外，並沒有在精度上很大提升。 最後，該文章融合了另一項很火的技術，就是「歸一化流」（Normalizing Flows）。
這種技術可以通過訓練一個可逆的映射，從而簡化概率函數的訓練求解。而NeuralODE則可以將其提升為一種漂亮的續的形式。
這是一篇歸一化流的介紹：
Normalizing Flows for Probabilistic Modeling and InferenceGeorge Papamakarios,Eric Nalisnick,Danilo Jimenez Rezende.et al.arXiv（2019）
NeuralODE可以在時間序列擬合和預測好的效果：
圖6：NeuralODE在曲線擬合上的效果
下面這篇文章是2020年 AAAI 的獲獎論文，它將 NeuralODE 與圖網絡巧妙地結合到一起，來進行各種複雜網絡上各種動力學的預測，在很小的數據量下取得了非常好的結果：
Neural Dynamics on Complex NetworksChengxi Zang,Fei WangarXiv（2020）
階段4：圖結構與動力學一起學習
我們為什麼要自動學習個體的相互作用結構呢？那是因為，複雜系統中的連邊往往代表的是一種因果聯繫，因此圖結構的學習也就是因果關係的發現。
其次，當我們從時間序列中提取出這種圖結構，可以讓我們更清楚地看到系統各個部分之間是如何相互作用的，從而提高這種系統的可解釋性。
最後，我們還可以用豐富的網絡科學技術手段來分析獲得的這種圖結構，從而幫助我們對系統進行更深入的理解。
那麼，這種圖結構如何獲得呢？實際上，注意力權重就是一種圖結構。利用 NLP 中的 Transformer 模型預測時間序列，其實就相當於學習出了詞與詞之間的網絡關係：
Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence CaseNeo Wu,Bradley Green,Xue Ben.et al.ariv（2020）
這篇文章用一種時空注意力機制來進行交通流預測：
GMAN: A Graph Multi-Attention Network for Traffic PredictionChuanpan Zheng, Xiaoliang Fan, Cheng Wang.et l.（2019）
然而，這種注意力往往具備多個Head，而且有方向有權重，生成的網絡還會時常變化，不方便我們分析。因此，圖卷積網絡的提出人 Thomas Kipf 首次提出了一種顯示圖結構的網絡學習方法（NRI）：
Neural Relational Inference for Interacting SystemsThomas Kipf, Ethan Fetaya, Kuan-Chieh Wang.et al.arXiv（2018）
NRI模型複雜度高，只能用於小規模網絡，我們（張江老師科研組）在NRI的基礎上，提出了一種更輕便、效率更高、可用於大規模網絡的網絡重構方法（GGN）：
A general deep learning framework for network reconstruction and dynamics learningZhang Zhang, Yi Zhao, Jing Liu.et al.（2019）
我們還可以將圖結構學習的方法用於因果發現。例如，下面這篇文章就結合了圖結構學習和普通的RNN網絡，拓展了格蘭傑因果檢驗（Granger Causality）的方法，取得了良好的效果。
Neural Granger Causality for Nonlinear Time SeriesAlex Tank,Ian Covert,Nicholas Foti.et al.（2018）
另外，利用自注意力機制，我們也可以用於提煉動態的圖結構。例如，下面這篇文章就將Transformer用到了各種具有動態交互圖的複雜系統之中。
Towards Automated Statistical Physics : Data-driven Modeling of Complex Systems with Deep LearningSeungwoong Ha,Hawoong Jeong（2020）
該模型能夠通過分析學習得到的注意力，而獲得每個 Agent 的互相作用半徑。
圖7：以鳥為例給出的模型結構
圖8：模型自發學習到的視野半徑
階段5：幹預與反事實
著名圖靈獎獲得者，Bayes網提出者 Judea Pearl 對於因果推理的執著令人印象深刻。他在其著作《Why》中出了因果的三重階梯：
圖9：因果推理的三重境界
我們發現，儘管我們可以從數據中直接挖掘因果關係，但是按照 Pearl 的標準來看，前面討論的所有模型都屬於因果階梯的第一層，也就是根據數據被動地獲得知識。因此，我們重構出來的連邊也極有可能是一種相關關係，而不是因果關係。
要想繼續爬升，我們必須讓算法走出實驗室，來對真實世界進行幹預，甚至進行反事實推理。那麼，人工智慧算法如何突破這些限制呢？
好在，我們完全可以給這類算法構建出一個虛擬的實驗室，從而讓算法幹預虛擬世界中的物體，從而幫助自己提升對系統的理解。
例如，下面這篇最新的文章就是利用了這樣一種思想，讓算法通過選擇幹預哪一個物體才能更好地提升預測，從而成功攀爬到了因果階梯的第二層：
Towards Curiosity-Driven Learning of Physical DynamicsMichael John Lingelbach,Damian Mrowca,Nick Haber.et al.
圖10：主動幹預可以提高機器對動力學學習的準確度
甚至有文章聲稱，可以利用深度學習方法攀爬第三層階梯，儘管是否符合真正的反事實推理還需要進一步確認：
Deep Structural Causal Models for Tractable Counterfactual InferenceNick Pawlowski, Daniel C. Castro, Ben GlckerarXiv（2020）
最後，當我們學習到了基本模型之後，還可以對系統實施控制。下面這篇文章就以模擬的智能交通系統為平臺，討論了自動學習以對系統動態控制。
Flow: A Modular Learning Framework for Autonomy in TrafficCathy Wu,Aboudy Kreidieh,Kanaad Parvate.et al.arXiv（29）
總結與展望
總結來看，複雜系統的自動建模已經取得了豐碩的成績。相比於傳統的人工模型，自動建模的優勢在於：
可以同時學習出網絡結構和動力學
具有較高的準確度
可泛化
不強依賴於建模者的先驗知識
當然相比於經典模型，它還處於剛起步的階段，現在尚沒有對如下問題進行充分討論：
網絡的演化模型
複雜適應系統模型
多尺度建模
目標驅動+數據驅動建模
好奇心驅動
……
另外，這套方法雖然在準確度、通用性等方面取得了良好的進展，但是要想用於真實世界還有很長的路要走。
最後，之所以人工智慧可以取得如此豐富的成績，歸根結底就在於可微分計算技術的大量應用。而未來在工程應用方面的一種可結合方向就是可微分的仿真平臺。
例如，DeepMind就開發出了可微分的流體仿真平臺，它可以通過訓練而加速模擬速度，還可以自動對系統進行數據驅動式的建模。這也許是一個非常值得投資長期鑽研的方向。
Learning to Simulate Complex Physics with Graph NetworksAlvaro Sanchez-Gonzalez,Jonathan Godwin,Tobias Pfaff.et al.（2020）
我們相信，在深度學習技術的賦能之下，複雜系統研究的發展一定會再次升級。同時，二者的結合可能也會幫助我們解開這個世界更深層次的奧秘。
葦草智酷簡介——
葦草智酷（全稱：北京葦草智酷科技文化有限公司）是由長期從事網際網路前沿思想、人文、科技和投資領域的專家所組成一個的思想者社群組織，其前身是已運營 5 年的網際網路思想者社區—網絡智酷。
葦草智酷秉承「讓天下思想者連接起來」、「讓思想流動起來」、「讓思想直立行走」的主旨和願景，在泛網際網路思想領域中，立足全球視野，感知時代脈搏，聚焦思想前沿。