周日直播:因果助力CV、NLP和認知神經科學 | 因果科學與Causal AI...

2021-01-09 網易

　　

　　明晚8點，「因果科學與Causal AI」讀書會將進行第十二期的線上論文分享，主題是「 因果助力CV、NLP和認知神經科學」，將由 浙江大學在讀碩士吳亦全、 浙江大學在讀博士張聖宇、 集智俱樂部常駐作者十三維來進行分享，本次內容將在集智俱樂部B站直播。

　　

　　論文解讀 《De-Biased Court’s View Generation with Causality》

　　數據不平衡問題經常出現在文本分類任務中，而在文本生成任務中被忽視。在民事訴訟中，存在著無法被觀測到的數據生成機制：原告往往在有把握的情況下才會起訴。這種數據生成機制導致的數據不平衡，會導致法院觀點生成模型在編碼時只關注支持性的信息，從而生成不準確的法院關點。文章通過對這種現象進行了因果建模，並將後門調整巧妙運用到了NLP中，從而使得法院觀點生成模型能夠消除數據生成帶來的混淆偏差。

　　Outline

　　

　　Introduction to Court's View Generation

　　

　　Brief Introduction to Legal AI

　　

　　Task Definition

　　

　　Challenges

　　

　　Method

　　

　　Causal Graph

　　

　　Backdoor Adjustment

　　

　　Backdoor in Implementation

　　

　　Model Arch

　　

　　Experiments

　　

　　Dataset

　　

　　Metrics

　　

　　Baselines

　　

　　Results

　　

　　Discussion

　　

　　Ethical Issue

　　

　　Future Work

　　

　　Reference

　　I Sutskever, O Vinyals, and QV Le. 2014. Sequence to sequence learning with neural networks. Advances in NIPS.

　　Abigail See, Peter J Liu, and Christopher D Manning. 2017. Get to the point: Summarization with pointer-generator networks. arXiv preprint arXiv:1704.04368.

　　Haoxi Zhong, Zhipeng Guo, Cunchao Tu, Chaojun Xiao, Zhiyuan Liu, and Maosong Sun. 2018. Legal judgment prediction via topological learning. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 3540–3549.

　　Judea Pearl. 2009. Causality. Cambridge university press.

　　Judea Pearl, Madelyn Glymour, and Nicholas P Jewell. 2016. Causal inference in statistics: A primer. John Wiley & Sons.

　　分享者介紹

　　

　　吳亦全，浙江大學在讀碩士，研究方向為自然語言處理

　　因果在去偏差預訓練中的應用

　　預訓練技術旨在可輕易大規模收集的無標籤 （或單一標籤） 數據集上，通過包括自監督學習 （Self-supervised Learning） 在內的手段學習到和某個具體下遊任務無關的通用表徵。大量的下遊任務可利用這種通用的特徵作為先驗知識或額外輔助知識以增強性能和實現冷啟動。相比於一般的深度學習任務，預訓練任務更加看重模型的泛化能力，並且對預訓練數據中存在的偏見更為敏感。這是因為，領域內的偏見知識可能對領域內的分析判斷有幫助，但對領域外的任務可能是有害的[1]。因此，如何實現去偏差預訓練和特徵提出是重要的研究和應用課題。

　　Outline

　　Introduction to Causal Pretraining

　　

　　Brief introduction to pretraining

　　

　　Motivation

　　

　　Challenges

　　

　　Paper Reading [2-3]

　　

　　Discussion

　　

　　Reference

　　[1] Kun Kuang, Peng Cui, Susan Athey, Ruoxuan Xiong, and Bo Li. 2018. Stable Pre- diction across Unknown Environments.. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, KDD 2018, Lon- don,UK,August19-23,2018.1617–1626. https://doi.org/10.1145/3219819.3220082

　　[2] Shengyu Zhang, Tan Jiang, Tan Wang, Kun Kuang, Zhou Zhao, Jianke Zhu, Jin Yu, Hongxia Yang, Fei Wu: DeVLBert: Learning Deconfounded Visio-Linguistic Representations. ACM Multimedia 2020: 4373-4382

　　[3] Zekun Yang, Tianlin Liu: Causally Denoise Word Embeddings Using Half-Sibling Regression. AAAI 2020: 9426-9433

　　分享者介紹

　　

　　張聖宇，浙江大學在讀博士，研究方向為多模態學習、推薦系統和穩定學習

　　論文解讀 《Causality in cognitive neuroscience: concepts, challenges, and distributional robustness》

　　背景介紹

　　概率模型描述了觀察變量之間的依賴結構，因果模型則更進一步，例如可以預測認知功能如何被外部幹預造成的神經元活動影響。在這篇論文綜述中，作者回顧了知神經科學背景下的因果關係概念，並回顧了從數據中推斷因果關係的現有方法。因果推理是一項頗有野心又異常艱巨的任務，在認知神經科學中尤其具有挑戰性。在文章中，作者從各個方面詳細討論當前兩個主要困難：幹預數據的稀缺性和尋找正確變量的挑戰，主張將分布魯棒性作為解決這些問題的指導原則。魯棒性或不變性是是因果方法的基本原則，只要目標環境不產生因果作用，一個目標變量的因果模型就可以在不同的環境或主體中泛化。如果一個候選因果模型不能泛化，那麼要麼它不包含目標變量的正確原因，要麼問題中基本變量沒有表示為恰當的粒度。為解決幹預數據稀缺和尋找正確變量問題，認知神經科學同樣需要從數據和模型評估兩方面分別發展種種技術去應對挑戰。

　　Outline

　　- 認知神經科學中的因果

　　- 認知神經科學研究層次

　　- 場景 1：stimulus → brain activity → response

　　- 場景 2：stimulus → brain activity

　　認知神經科學的因果挑戰

　　- （1）幹預數據缺乏（the scarcity of interventional data）

　　- （2）尋找正確變量（the challenge of fnding the right variables）

　　結構因果模型中的觀察與幹預

　　- 幹預分布與觀察分布

　　- 因果模型的等效性

　　- 典型因果模型和方法

　　- 隨機化實驗

　　- 基於約束的方法（Constraint-based methods）

　　- 基於分數的方法（Score-based methods）

　　- 約束結構因果模型（Restricted structural causal models）

　　- 動力因果模型（Dynamic causal modelling (DCM)

　　- 格蘭傑因果 (Granger causality)

　　- 跨環境不變性與因果模型

　　- 尋找正確粒度變量

　　- 模型魯棒性和變量結構

　　- Robust Independent Component Analysis

　　- Causal discovery with exogenous variation

　　- Anchor regression

　　分享者介紹

　　十三維，某航空公司數據運營主管，集智俱樂部常駐作者，畢業於首都師範大學數學系，長期關注複雜系統與認知科學等跨學科研究

　　直播時間：明晚（12月13日） 20:00-23:00

　　參與方式 1：騰訊會議（需報名參加系列讀書會）

　　參與方式 2：集智俱樂部B站直播

　　關於讀書會內容介紹的更新

　　集智俱樂部聯合智源社區發起了因果科學與Causal AI讀書會受到了因果科學領域一線科研工作者的廣泛認可，我們也深深的感受到了青年科學工作者推動該領域發展的熱情。目前因果科學與Causal AI讀書會已經有220+的朋友報名，其中碩博的比例接近80%。

　　

　　在讀書會中的參與者以科研工作者居多，清華大學、北京大學、國防科技大學、浙江大學、復旦大學、中山大學等國內高校的學生居多，也有許多一線網際網路包括谷歌X、FackBook、滴滴、騰訊、阿里、拼多多等大廠的工程師也參與其中。

　　

　　歡迎大家加入其中，現在加入讀書會的成員將會作為因果社區的種子用戶長期運營，將可以免費享受集智俱樂部後續因果相關主題的讀書會，如果你心動了，就點擊下面的連結報名吧~

　　時間：9月20日起，每周日晚19:00-21:00，持續約2-3個月

　　模式：線上閉門讀書會；收費-退款的保證金模式；讀書會成員認領解讀論文

　　費用：299/人

　　了解讀書會具體規則、報名讀書會請點擊下方文章：

　　目前讀書會已經有超過130餘人的海內外高校科研院所的一線科研工作者以及網際網路一線從業人員參與，如果你也對這個主題感興趣，就快加入我們吧！

　　針對讀書會的主題，由發起人龔鶴揚設置好了內容框架，每個主題下有一個負責人來負責維護組織相關內容，目前已經定好的如圖所示，歡迎對主題感興趣的聯繫相關負責人，以及來認領相關主題~

　　

特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺「網易號」用戶上傳並發布，本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關焦點

  • 哈佛大學Hernan教授《因果推斷:What If》新書,311頁講解因果效應(附下載)
    harvard.edu/miguel-hernan/causal-inference-book/在本書中，我們強調需要足夠認真對待因果問題，才能明確表述它，我們還區別了數據和因果推斷假設的不同作用。一旦建立了這些基礎，因果推斷就必然變得不那麼隨意，這有助於防止混淆。
  • 因果推斷領域新書(附PDF):Causal Inference: What If
    集智斑圖頂刊論文速遞欄目上線以來，持續收錄來自Nature、Science等頂刊的最新論文，追蹤複雜系統、網絡科學、計算社會科學等領域的前沿進展
  • Gary Marcus:因果熵理論的荒誕和認知科學帶給AI的11個啟示|文末贈書
    馬庫斯是人工智慧領域的專家，同時還是心理學和神經科學教授，在計算機科學、認知科學、語言學、人工智慧等領域都練就了相當深厚的學術功底，並敢於挑戰學術界的主流觀點。當整個人工智慧學術界都在過分樂觀地高歌猛進時，他不斷撰文和發表演講來指出以深度學習為代表的當下AI的弊端和局限性。
  • Causal Inference
    因果問題分為兩種：一種是 causal inference，比如給定兩個變量 X、Y，希望找到一個衡量它們之間因果關係的參數 theta；另一種是 causal discovery，即給定一組變量，找到他們之間的因果關係。對於後面這種 causal discovery，notes 裡面說它在統計上是不可能的。
  • 受腦認知和神經科學啟發的人工智慧
    人類大腦是一個多問題求解的結構，怎麼從腦認知和神經科學中得到構造健壯的人工智慧的啟示，國內外都做了非常多有成效的研究。 一、實現健壯的人工智慧的方法 人類面臨的許多問題具有不確定性、脆弱性和開放性。所以，大腦不是通過一個統一的沒有分化的神經網絡來實現單一的全景優化學習的，不同的功能和區域會生成不同的成本函數。它是模塊化的，同時具有獨特的系統來支撐注意、記憶、語言等功能。因此，我們可以從腦認知和神經科學中去獲得發展新的人工智慧的靈感。 二、腦認知與人工智慧的結合 人類大腦有800億個神經元的容量，它主要有三種研究方式：結構研究、功能研究和有效研究。
  • 『因果關係』英文研究熱點知識圖譜
    ，今天我們利用Web of Science核心合集資料庫，對『因果關係』英文研究成果進行分析，並繪製了研究熱點知識圖譜，以饗讀者。圖1所示：因果關係研究成果發文時間分布情況，由圖可以看出，因果關係研究方向的英文成果呈現出顯著的遞增趨勢，業已成為當前一個重要的研究熱點。
  • 相關不等於因果,深度學習讓AI問出「十萬個為什麼」
    蒙特卡羅模擬，馬爾可夫鏈分析，樸素貝葉斯和隨機建模是當今常用的一些技術，但它們幾乎都不能分析因果關係。還有一些開源軟體包，如DAGitty（一個基於瀏覽器的環境，用於創建，編輯和分析因果模型以及Microsoft的DoWhy庫的軟體包）也用於因果推理。但這些仍在發展中。
  • 因果階梯與Do-演算:怎樣完美地證明吸菸致癌?
    其實原因很明顯，有「年齡」這個混雜因子，年齡越大的孩子往往會有更大的鞋碼和更好的閱讀能力。而如果我們控制了年齡這個混雜因子，在每個年齡層面進行分析，就會發現鞋碼和閱讀能力之間是沒有關聯的，因果信息傳遞的路徑被切斷了。對於對撞接合，原本A和C之間就是獨立的，但如果控制了對撞因子B，根據辯解效應 (Pearl, 1988) 的存在，反而會打開A與C之間的因果關係傳遞通道。
  • 雅思寫作:因果關係表達的乾貨總結
    雅思寫作考試中，因果關係的表達常常難倒很多考生。本文中，筆者精選雅思常考話題，將雅思寫作中因果關係表達的乾貨做了詳盡整理，希望對大家備考雅思有幫助。 雅思大作文中有一類題目是因果關係類，具體包括三小類：cause and effect、cause and solution、problem and solution。這三小類問題也可以穿起來，即針對某個topic的cause—effect (即problem) – solution。 無論哪種題目，寫明因果關係很重要。
  • 跨媒體因果推斷
    跨媒體智能是國家「新一代人工智慧發展規劃」的重要內容，也是當前學術界和產業界共同關注的熱點。跨媒體智能的主要基礎理論問題是借鑑生物的跨媒體信息表達和處理機理，實現智能感知和認知並做出決策。本論壇將從跨媒體智能的抽象歸納、演繹推理及因果推斷等方面，討論跨媒體大數據表徵與推理、分析因果計算的前沿理論和方法、探索跨媒體因果推斷的未來發展趨勢，並暢想未來的創新應用方向。
  • 相關性 ≠ 因果性,用圖的方式打開因果關係
    David Salazar 發布了一系列博客介紹因果關係。在之前的文章中，他將因果關係定義為幹預分布（interventional distribution），並介紹了兩種識別因果關係的策略：後門準則和前門準則。然而，這些準則並不適用於所有因果關係。那麼一般而言，給定因果模型和不完整的度量集，如何確定因果關係可識別呢？
  • 雅思寫作中因果關係表達的乾貨總結
    點擊查看>>>>雅思寫作技巧全解析 　　雅思寫作考試中，因果關係的表達常常難倒很多考生，本文中，新東方在線劉美娟老師精選雅思常考話題，將雅思寫作中因果關係表達的乾貨做了詳盡整理，希望對大家備考雅思有幫助。
  • 偶然並不存在——因果原理
    有因必有果；有果必有因；一切事物的發生都遵循法則；「偶然」只是未被洞悉的法則的代名詞；「因果律」有多個層面，沒有任何事物能夠逃避法則。
  • 因果發現：如何讓算法成為複雜系統中的「福爾摩斯」？
    黃碧薇是美國CMU在讀博士，其所在研究組開發的因果關係自動發現智能平臺Tetrad獲2020世界人工智慧大會SAIL獎，相關網址：http://www.phil.cmu.edu/tetrad/about.html自9月20日（周日）開始，集智俱樂部聯合北京智源人工智慧研究院還將舉行一系列有關因果推理的讀書會，歡迎更多的有興趣的同學和相關研究者參加，一起迎接因果科學的新時代
  • 哈佛教授新書《因果推理》開放下載!311頁暢享閱讀
    書籍介紹：走向不那麼隨意的因果推理《因果推理》是一個公認自命不凡的書名。因果推理是一項複雜的科學任務，它依賴於多個來源的 三角互證（ triangulating evidence）以及各種方法論的應用。任何一本書都不可能全面地描述跨學科因果推理的所有方法。任何因果推理書的作者都必須選擇他們想要強調的因果推理方法論的某些方面。
  • 看因果深度學習如何教AI人工智慧去問為什麼
    作者 | George Lawton 編譯 | CDA數據科學研究院大多數AI都基於模式識別，但是正如任何高中生都會告訴您的那樣，關聯不是因果關係。研究人員現在正在尋找方法，以幫助AI深入到更深層次。問題在於分析和AI主要用於查找數據集中的相關性。由於關聯僅暗示因果關係，因此這些關聯無法幫助您理解發生某事的原因-如果無法做到，則只能告訴您接下來會發生什麼的可能性。弗賴瓦爾德說：「我們越能發現模型中的因果關係，在評估事情發生的原因和下一步將發生的事情時，我們就越能基於現實。」
  • 計算認知神經科學:試圖理解人類複雜行為背後存在基本的數學原理
    圖1 計算認知神經科學的目標是通過生物學上可信的計算模型來解釋動物和人類神經元活動和行為。從歷史上看，每個學科(圓圈)都解決了這些挑戰的一個子集(白色標籤)，計算認知神經科學力求同時應對所有挑戰。計算認知神經科學是一個多學科交叉的領域，主要包括認知科學、計算神經科學和人工智慧(圖1)。
  • 耿直:統計學中的因果推斷問題(Causal Inference)
    Statistics and causal inference. J. Am. Statist. Ass. , 1986, 81:945-970.[2] Pearl J. Causality: Models, Reasoning, and Inference. 2nd ed. Cambridge: Cambridge University Press, 2009.
  • No.502 李榮山 | 具體因果解釋: 馬克斯•韋伯論社會文化科學的...
    任何一門科學都必須進行解釋，概念形成只是解釋工作的第一步。不難發現，在《羅雪爾與克尼斯》和《社會科學方法論》等分量最重的科學論著中，韋伯不斷談到因果解釋（interpretation）或因果說明（explanation）。如果我們假定韋伯的著作有其內在邏輯，那麼因果關係在這套邏輯中又居於何種地位？經過詳細分析，筆者認為，因果關係是這套邏輯的核心部分，韋伯的工作就是試圖用因果邏輯來解釋社會文化現象。
  • 因果觀念新革命?萬字長文,解讀複雜系統背後的暗因果
    在對生態學、神經科學、金融市場等各種真實系統的廣泛測試之後，他們證明這種方法在重構複雜系統隱藏結構之間因果關係的能力上具有相當大的準確度，勝過幾乎大多數流行的因果推斷方法。：https://www.pnas.org/content/117/14/7599由於其中暗因果關係的定義和發現，具有某種觀念革新的意義，為講清楚，本文先會回顧下因果關係的認知歷史和背景 ，然後介紹作者工作，最後對因果關係模型及未來發展進行總結。