因果發現：如何讓算法成為複雜系統中的「福爾摩斯」？

導語

偵探小說中，神探們能從一堆看似雜亂無章的事件或物證中，抽絲剝繭地發現真相，即案件背後有序的因果鏈條，在凱風研讀營中黃碧薇博士的關於因果發現的分享中，講述了如何用算法，做複雜系統中的「福爾摩斯」。

黃碧薇是美國CMU在讀博士，其所在研究組開發的因果關係自動發現智能平臺Tetrad獲2020世界人工智慧大會SAIL獎，相關網址：http://www.phil.cmu.edu/tetrad/about.html

自9月20日（周日）開始，集智俱樂部聯合北京智源人工智慧研究院還將舉行一系列有關因果推理的讀書會，歡迎更多的有興趣的同學和相關研究者參加，一起迎接因果科學的新時代。該文的作者黃碧薇也會在讀書會期間再詳細具體深入的介紹因果發現這個主題，系列讀書會詳情與參與方式見文末。

1. 何謂因果發現

因果推斷中，通常假設因果圖是已知的，即我們知道變量之間可能存在怎樣的因果關係，只是需要通過自然實驗或觀察數據，來判斷因果關係是否成立。

例如某人聲稱窮人吸菸多，而窮人患肺癌的比例更高，而這意味著「吸菸多的人患肺癌多」不能支持「吸菸引起肺癌」，這就是一個已知的因果鏈條。然而真實世界中，類似的因果鏈條，往往並不是先驗知識。

尋找因果關係，傳統的方法是通過隨機對照實驗。但是這種實驗方式在實際問題中可能涉及到一些倫理問題，並且通常需要花費大量的人力和物力。因此我們希望尋找一個更切實可行的方法：這就是我們接下來要談的因果發現，即從觀測數據中發現因果關係。相對來說，觀測數據是更容易獲取的，特別是在大數據時代。

因果發現不同於找到數據間的依賴關係，如果通過觀察，發現變量A的值不同時，變量B的分布也不同，那麼這兩個變量之間就存在依賴關係（相關性）。但只有在變量A能「主動」不同的選擇後，變量B的分布發生改變，才能說變量A和B之間存在因果關係。

在因果發現中，很多時候不能簡單地根據事件的發生順序，確定因果關係。例如氣壓計的水銀柱下降和下雨概率增加相關，並且水銀柱的下降要早於下雨，但是事實是兩者之間並不存在因果關係，他們之間的相關性是由於大氣壓降低同時造成了水銀柱的下降和下雨。而且很多數據可能不包含時序信息，比如獨立同分布的靜態數據。

因果發現的應用案例示意圖

上圖列出了因果發現的三個應用場景，分別是：（1）基於大腦影像時序數據，找出不同腦區之間的因果圖；（2）基於細胞內的蛋白質濃度變化，推測基因調控網絡；（3）根據金融市場的交易數據，推測不同行業的股票價格之間存在的因果關係。

上述三個例子都來自複雜系統，由於涉及的變量很多，如果通過傳統的隨機對照實驗進行驗證，所需做的實驗數量是超指數增長的，在現實中是不可接受的。

2. 因果發現算法及其假設

下面簡要介紹基於條件約束 (constraint-based) 的因果發現算法和基於功能因果模型 (functional causal model-based) 的因果發現算法。

通過馬爾可夫條件和faithfulness假說，可以在因果圖結構和統計獨立性之間建立一個對應關係。特別是在無環圖的情況下，這種映射是一對一的。因此我們可以通過判定觀測變量之間的條件獨立性來學習因果結構。

馬爾科夫條件和faithfulness假設示意圖

馬爾可夫條件說的是任何變量，給定其父節點，都和它的非後代 (non-descendants) 統計獨立。上圖中給定X, Z和Y是統計獨立的。馬爾科夫條件提供了如下蘊含關係：結構圖中表示的獨立性->概率獨立性， 或者等價地：概率依賴性->結構圖中表示的依賴關係。值得一提的是，馬爾科夫條件在一般情況下都是滿足的，但在量子物理中需要更進一步的研究。

Faithfulness 假說需要排除的因果圖

為了在因果圖結構和概率獨立性之間建立一個對應關係，我們不僅需要馬爾科夫條件，還需要faithfulness假說。它說的是：所有觀測到的概率條件獨立性都包含在馬爾科夫條件中。也就是它提供了如下的蘊含關係：概率獨立性->結構圖中表示的獨立性， 或者等價地：結構圖中表示的依賴關係->概率依賴性。

上圖中，如果a=-bc，健康狀況和死亡風險之間是統計獨立的，因此因果關係變得無法檢出。為了避免該狀況，需要Faithfulness 假說，排除上述的可能性。

基於條件約束的因果發現算法示意圖

例如上圖中，如果能夠從數據中得到，在給定X時，變量Y和Z之間相互獨立，並且其他獨立性都不滿足，可以據此推出在圖中右下角的三種可能的因果圖。在滿足上述的兩條假設時，可使用PC[1]算法來找到因果圖。

注意使用約束的因果發現算法只能找到馬爾可夫等價類，即所有邊都是能唯一確定的，但某些方向不能唯一確定。特別是在只有兩個變量時，這兩個變量的因果方向不能以此來確定。確定任意兩個變量之間的因果方向可以進一步通過下面介紹的基於功能因果模型的因果發現實現

除了上述基於條件約束因果發現算法，另一類因果發現算法是基於功能因果模型的。在該模型中，結果Y可以表示為原因X和噪聲項E的函數：Y=f(X, E)，其中X和E獨立。

通過合理地限制因果機制f的函數空間，我們可以發現非對稱獨立性，從而可以判定因果方向。即如果在正確的因果方向，通過用結果Y對原因X做回歸，得到的噪聲項是和X獨立的。但如果反過來用X對Y做回歸，得到的噪聲項和Y是不獨立的。

目前的研究表明當f滿足以下三種條件的一種時，噪聲和假設原因之間的非對稱獨立性滿足：（1）線性非高斯模型，即Y = a*X+E；第一個能發現完整的因果圖的LiNGAM模型即是基於此。（2）非線性加噪聲模型：Y=f(X)+E。以及更通用的（3）後非線性模型 (post-nonlinear model) : Y = g(f(X)+E)。

現實世界中，因果圖並不是一成不變的。上述方法僅適用於尋找靜止的因果圖，對於變化的因果圖，可以通過因果機制獨立變化的非對稱性， 來判定因果關係的方向性[5]，這是因為在大多數情況下，當因果圖改變時，原因的分布和給定原因下結果變量的分布變化獨立性，在錯誤的方向往往是不成立的，即P(cause)的變化和P(effect|cause)的變化是獨立的，但P(effect)的變化和P(cause|effect)的變化是不獨立的。

3. 因果發現有什麼用

因果理解帶來的好處已經在一些機器學習的任務中有所體現，比如遷移學習[2, 3]、非穩態數據的預測[4]、分類、聚類、強化學習等等。

遷移學習指的是要已學到數據特徵的模型能夠在新的場景下儘可能地被復用，通過相對較少的訓練得到較好的表現。如果知道了因果模型， 就可以幫助更好地做遷移學習。我們可以更有理有據地做適應性預測，知道哪些部分發生了變化，遵從什麼樣的規則在變，而不是像黑盒一樣盲目地做。並且用更少的數據和計算時間，即降低了樣本複雜度和模型複雜度，有針對性的重新訓練模型中因果關係改變的部分。

因果發現還可以簡化模型，去除模型中和因果鏈條無關的參數，這樣不僅不會影響模型的效果，還能夠讓模型更加具有解釋性。另一個提升模型可解釋的方法是識別出不同任務間改變的因果鏈條有哪些，從而讓新模型能夠更容易地遷移到新的任務。

經由因果發現，還能夠更準確地在時間序列的非穩態數據上進行預測[4]，下圖是基於真實的美國1965-2017年間季度GDP、失業率、通脹率和經濟增長率之間的時序數據，經由因果發現得出的即時的因果關係圖。

基於真實數據發現的因果關係圖

研究發現使用了因果發現的模型（比如說基於上圖的因果關係），在基於過去數據對未來情況進行預測時，相比傳統模型誤差更小。這說明了因果發現能夠用於提升模型對複雜系統的刻畫精度。

4. 總結

數據分析界流傳著」啤酒和尿布「的故事，說的是通過分析，發現超市中啤酒和尿布的銷售量存在相關性，然而要得到這是由於買尿布的年輕爸爸會順便買啤酒犒勞自己這一因果聯繫，就需要額外的信息。而唯有找到了因果聯繫，才能確認幹預手段，即將這兩個商品放在一起是有用的。

因果發現讓數據分析能夠在不引入先驗知識的情況下，自動化地在觀測數據中找到因果聯繫，相比傳統因果推斷，不需要領域知識去構建待檢驗的因圖圖，對機器學習和數據分析也都會有所助益。

學習因果發現的算法及模型，首要的是弄清楚模型的假設，模型的假設決定了其適用領域。因果發現的方法雖然很多，但通常依賴的是三種獨立性，據此可以將其分為三類。

這三種獨立性分別是：（1）條件獨立，即在給定變量X後，變量Y和Z之間相互獨立，據此可以剔除因果圖中的連接；（2）噪音獨立，即原因和噪音無關，因此會出現不對稱性，據此確定因果鏈條的方向；（3）因果機制的變化獨立性，即原因和給定原因的結果各自對應的分布是獨立變化的，由此來在因果關係改變時，進一步確定因果方向，以及更好地進行Domain Adaptation。

參考文獻：

[1] Spirtes et al., Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993.

[2] Zhang, et al., Domain adaptation under target and conditional shift, ICML, 2013.

[3] Zhang, et al., Domain adaptation as a problem of inference on graphical models, arxiv 2019.

[4] Huang, et al., Causal Discovery and Forecasting in Nonstationary Environments with State-Space Models, ICML, 2019.

[5] Huang, Zhang et al.. Causal Discovery from Heterogeneous/Nonstationary Data. JMLR, 21(89), 2020.

作者：郭瑞東

審校：黃碧薇

編輯：鄧一雪