Judea Pearl 認為當下正在進行一場改變數據科學的新革命 --- 」因果革命「。因果革命和以數據為中心的第一次數據科學革命,也就是大數據革命(涉及機器學習,深度學習及其應用,例如Alpha-Go、語音識別、機器翻譯、自動駕駛等等 )的不同之處在於,它以科學為中心,涉及從數據到政策、可解釋性、機制的泛化,再到一些社會科學中的歸因和公平性問題,甚至哲學中的創造性和自由意志 。可以說, 因果革命徹底改變了科學家處理因果問題的方式,形成了一門新學科—因果科學。
當前的大多數 AI 系統只是曲線擬合,他們面臨許多開放性難題本質上與因果相關,而其中的三個最主要困難 (1) 穩健性/適應性, (2) 可解釋性,(3) 不能理解因果關係,而這些問題可以用現代因果建模解決。因果推理和機器學習融合,構建具備果推理能力的 Causal AI 系統,是實現強人工智慧的關鍵步驟。
To Build Truly Intelligent Machines, Teach Them Cause and Effect. ——Judea Pearl
本次讀書會是智源社區聯合集智俱樂部共同推出因果科學與Casual AI的系列讀書會,其目的之一是希望可以出版一本關於因果推理相關的書籍,為想要入門並且深入研究該領域的科研人士提供一個非常好的指導。目的之二是希望可以通過與專業科研人員的分享討論的形式,為大家提供更加沉浸,深度,自由的交流環境,共同掌握因果推理的基礎知識,業界前沿應用,共同推動因果推理領域的發展和進步。
本次讀書會是由智源社區和集智俱樂部社區成員龔鶴揚、高亦斌和郭瑞東主要發起,歡迎對相關領域感興趣,或正在做研究的朋友加入進來,一起進行深度的跨學科交流。
從9月20日(周日)開始,每 1 周由2-3名讀書會成員領讀相關論文(以 PPT 講解的形式,直播間互動交流)。
每周日晚上 20:00-22:00(暫定)持續時間預計 2-3 個月。
此次讀書會為線上閉門讀書會(部分主題直播),採用的會議軟體是騰訊會議(請提前下載安裝)。
為了過濾一些非專業人士,甄選出真正對因果推理感興趣、有相關研究經驗的專業人士,也為激勵小夥伴們堅持學習,本期讀書會將採取收費 - 退款的保證金模式。
1. 讀書會(8-12期)保證金共計 299 元/人。3. 滿足以下條件之一的不僅可以全額退款,還有額外獎勵:
4.如果經由讀書會發表了相關論文,並且在致謝中致謝集智俱樂部和智源社區,即可退費,如果發表到SCI核心論文,還可獲得額外獎勵,視具體刊物而定。
上述規則的最終解釋權歸智源社區和集智俱樂部所有。後續參與書籍撰寫的稿費另算。
第二步:信息填寫之後,會彈出對應的課程購買信息,提交保證金299元。(符合退費條件後可退費)。
第三步:添加負責人微信,拉入對應的讀書會討論群。
我們也會對每次分享的內容進行錄製,剪輯後發布在集智學園的官網上,歡迎大家關注!
讀書會會分享如下經典教材中有關因果推理基礎內容:
深刻理解因果之梯
Bareinboim, E., et al. "On Pearl’s hierarchy and the foundations of causal inference." ACM Special Volume in Honor of Judea Pearl (provisional title) (2020).
簡介:Judea Pearl 的學生 Elias Eareinboim 親自介紹了 Pearl 的因果之梯
機器學習+因果推理綜述
Schölkopf, Bernhard. "Causality for machine learning." arXiv preprint arXiv:1911.10500 (2019).
簡介:這是一篇剛剛掛在arxiv 就被 Pearl 親自 twitter 點讚的論文,是馬普智能所所長 Bernhard Schölkopf 最引以為傲的論文之一,他把被 Pearl 點讚這事情第一時間寫在個人主頁自我介紹的第一段中。Schölkopf 及其團隊在因果結合機器學習方面做了最多的工作,此文總結並升華了信息革命時代下因果結合機器學習的一般理論和深刻思考
主流因果建模框架融合
Malinsky Daniel, Ilya Shpitser, and Thomas S. Richardson. "A Potential Outcomes Calculus for Identifying Conditional Path-Specific Effects." international conference on artificial intelligence and statistics (2019): 3080-3088.
簡介:當前有兩個主流因果建模框架,潛結果(Potential Outcome)和結構因果模型(SCM),它們結合起來產生了 Po-calculus
機器學習方法+因果推理
清華崔鵬團隊 Stable learning/prediction 系列論文機器學習結合因果推理的一個非常好的落腳點。通過stable learning系列技術找到了如何學習穩健的預測模型,提出了一個清晰的預測框架。
3.Kuang, Kun, et al. "Stable Prediction with Model Misspecification and Agnostic Distribution Shift." national conference on artificial intelligence (2020).
Sgouritsa, Eleni, et al. "Inference of Cause and Effect with Unsupervised Inverse Regression." international conference on artificial intelligence and statistics (2015): 847-855.
簡介:半監督學習理論上只對反因果問題有效
Wager, Stefan, and Susan Athey. "Estimation and Inference of Heterogeneous Treatment Effects using Random Forests." Journal of the American Statistical Association 113.523 (2018): 1228-1242.簡介:用因果隨機森林的辦法來學習異質因果效應
Niklas Pfister, P. Bühlmann, J. Peters 團隊 Invariant causal prediction 系列文章1.Peters, Jonas, Peter Buhlmann, and Nicolai Meinshausen. "Causal inference using invariant prediction: identification and confidence intervals." arXiv: Methodology (2015).
2.Pfister, Niklas, Peter Buhlmann, and Jonas Peters. "Invariant Causal Prediction for Sequential Data." Journal of the American Statistical Association 114.527 (2019): 1264-1276.
3.Arjovsky, Martin, et al. "Invariant Risk Minimization." arXiv: Machine Learning (2019).
簡介:對於不同數據和模型,學習具備 Out-of-distribution 泛化能力的預測模型
強化學習+因果推理
Zhu, Shengyu, Ignavier Ng, and Zhitang Chen. "Causal Discovery with Reinforcement Learning.." arXiv: Learning (2019).
簡介:使用強化學習來做因果發現
簡介:有未觀測混雜因子下的因果模仿學習
簡介:半監督學習理論上只對反因果問題有效
簡介:因果可遷移行理論的一般性框架
中介分析理論
Robins, James M., Thomas S. Richardson, and Ilya Shpitser. "An interventionist approach to mediation analysis." arXiv preprint arXiv:2008.06019 (2020).
簡介:半監督學習理論上只對反因果問題有效
Miles, Caleb H., et al. "On semiparametric estimation of a path-specific effect in the presence of mediator-outcome confounding." Biometrika 107.1 (2020): 159-172.簡介:中介分析在社會學科中有重要應用,涉及到公平性,歸因等等問題
因果推理+醫療大數據
Prosperi, Mattia, et al. "Causal inference and counterfactual prediction in machine learning for actionable healthcare." Nature Machine Intelligence 2.7 (2020): 369-375.
簡介:通過反事實推斷,制定健康幹預方案,相比基於相關性的方案,提升對用戶的準確性
Richens, Jonathan G., Ciarán M. Lee, and Saurabh Johri. "Improving the accuracy of medical diagnosis with causal machine learning." Nature Communications 11.1 (2020): 1-9.簡介:用包含因果推理的機器學習模型,提升醫療診斷的準確性
Castro, Daniel C., Ian Walker, and Ben Glocker. "Causality matters in medical imaging." Nature Communications 11.1 (2020): 1-10.簡介:醫學影像中,通過引入因果推理,提升可解釋性和穩健性
Saxe, Glenn N., et al. "Computational causal discovery for post-traumatic stress in police officers." Translational psychiatry 10.1 (2020): 1-12.簡介:通過因果發現,基於觀察數據,找出心理疾病的成因