多倫多大學在讀博士朱子寧:如何利用語言探針檢測深度神經模型性能...

2020-12-11 智東西

「NLP前沿講座」，是智東西公開課針對自然語言處理領域推出的一檔講座，聚焦於自然語言處理前沿領域研究成果與進展。我們將持續邀請研究者、專家與資深開發者，為大家帶來直播講解。

語言模型編碼在神經模型中的評估越來越受到科研人員的關注。語言探針（linguistic probe）是最近比較流行的一種可以探測深度神經模型裡面編碼了哪些特徵的「診斷性分類器」算法，分類器效果的好壞直接體現深度模型包含信息的好壞，也就是模型性能的好壞。「探針」的選擇是對模型性能的解釋，因此如何選擇「探針」成為了一個難點。

2019年Hewitt & Liang提出，語言探針分類器的效果好可能因為信息好，或者探針本身學會了探測任務。而在2020年，Pimentel et al.反對這種二分法。那麼這種二分法到底是否正確呢？多倫多大學的朱子寧博士通過信息理論對此進行了驗證，表示這兩種可能性確實存在。同時他們還發現探針的構建與選擇，與兩篇論文中提到的控制任務（Hewitt和Liang，2019）和控制功能（Pimentel等人，2020）是等價的，也就是說，這兩種選擇標準造成的誤差原因是相同的。

11月20日上午10點，智東西公開課邀請到多倫多大學在讀博士朱子寧參與到「NLP前沿講座」第8講，帶來主題為《如何利用語言探針檢測深度神經模型性能》的直播講解。在本次講解中，朱子寧博士首先會講解深度神經模型的性能檢測算法，然後對語言探針的定義及分類器的選擇進行詳解，最後就如何減少探針誤差的方法進行重點解析。

朱子寧博士目前就讀於多倫多大學，師從Frank Rudzicz。他的研究方向包括自然語言處理和深度模型的可解釋性，試圖設計實驗來理解深度語言模型編碼的信息，以及這些模型在應用時的表現。

課程內容

課程主題

《如何利用語言探針檢測深度神經模型性能》

課程提綱

1、深度神經模型的性能檢測算法2、語言探針：一種探測模型編碼特徵的「診斷性分類器」3、基於資訊理論的語言探針分類器選擇4、減少語言探針誤差的方法解析

講師介紹

朱子寧，多倫多大學在讀博士，師從Frank Rudzicz；研究方向包括自然語言處理和深度模型的可解釋性；試圖設計實驗來理解深度語言模型編碼的信息，以及這些模型在應用時的表現。

直播信息

直播時間：11月20日10:00直播地點：智東西公開課小程序

加入討論群

加入討論群，除了可以免費收看直播之外，還能認識講師，與更多同行和同學一起學習，並進行深度討論。添加小助手小語（ID：hilele20）即可申請，備註「姓名-公司/學校/單位-職位/專業」的朋友將會優先審核通過哦~

相關焦點

  • 多倫多大學朱子寧:一種選擇語言探針的資訊理論觀點
    linguistic probe)是一種最近流行起來的探測深度神經模型裡面編碼了哪些特徵的「診斷性分類器」算法：分類器效果好則深度模型包含的信息好。 然而，Hewitt & Liang, (2019)提出，語言探針分類器的效果好可能因為信息好，或者探針本身學會了探測任務。Pimentel et al., (2020) 反對這種二分法。 本次AI TIME策劃的EMNLP 2020專題報告，特別邀請到來自多倫多大學的朱子寧跟大家分享一種選擇語言探針的資訊理論觀點。
  • 如何「錨定」NLP模型中的語言智慧?丨長文評析語言探針
    探針對語言任務的性能預測，或用於關聯或比較神經網絡和語言現象的支持模式，提供了對編碼語言知識的內容和方式的獨特見解。對於性能預測的指標，可以是分類準確性，相關係數或預測金標的平均倒數排名（MRR, Mean Reciprocal Rank）。
  • Talk預告 | Hawkes process模型新研究: 約翰霍普金斯大學在讀博士...
    北京時間12月24日(周四)晚8點，約翰霍普金斯大學計算機科學系在讀博士—梅洪源的Talk將準時在將門TechBeat技術社區開播！　　Talk·信息　　▼　　主題：用一個"神經"了的Hawkes process　　對事件序列建模　　嘉賓：約翰霍普金斯大學　　計算機科學系在讀博士
  • 新加坡國立大學在讀博士張景鋒:基於對抗學習的模型魯棒性研究...
    因此，提升深度學習神經網絡的魯棒性變得愈發重要。對抗學習是目前提升模型魯棒性最有效的方式，其核心思路是針對當前的神經網絡構建對抗樣本，然後通過不斷更新網絡參數來學習對抗樣本。傳統對抗學習是基於極小極大算法(Minimax)，這是一種找出失敗的最大可能性中最小值的演算法（即最小化對手的最大收益）。
  • 「神經常微分方程」提出者之一:如何利用深度微分方程模型處理連續...
    David Duvenaud 是多倫多大學向量學院的創始人之一，能源預測和貿易公司 Invenia 的聯合創始人，目前在多倫多大學擔任計算機科學助理教授。他在劍橋大學獲得博士學位，後在哈佛大學 Intelligent Probabilistic Systems 實驗室完成博後工作。
  • UC伯克利大學胡戎航博士論文公布:視覺與語言推理的結構化模型
    機器之心報導機器之心編輯部UC 伯克利大學計算機科學博士胡戎航（Ronghang Hu）的博士論文新鮮出爐，內容涉及視覺與語言推理的結構化模型。視覺 - 語言任務（如基於圖像回答問題或按照自然語言指令在視覺環境中導航）需要對圖像和文本兩種模態的數據進行聯合建模和推理。視覺和語言聯合推理方面已經取得了很大進步，但通常使用的是在更大的數據集和更多計算資源幫助下訓練的神經方法。視覺 - 語言任務的解決是否只是堆參數堆數據那麼簡單？如果不是，如何構建更好的推理模型，既能提高數據效率又具備不錯的泛化性能呢？
  • 阿德萊德大學在讀博士陳昊:高質高效的實例分割模型BlendMask:公開...
    因此綜合top-down和bottom-up的策略，利用instance-level信息(bbox)對per-pixel prediction進行裁剪和加權輸出的方法，成為了一種趨勢。而目前雖然FCIS和YOLACT已有類似的思想，但都沒有很好的處理top-level和bottom-level的特徵，高維特徵包含整體的instance信息，而低維特徵的則保留了更好的位置信息，如何合併高低維特徵，8月7日晚8點，智東西公開課邀請到阿德萊德大學在讀博士、BlendMask一作陳昊參與「CV前沿講座」第13講，陳博士將圍繞《BlendMask-高質高效的實例分割模型》這一主題進行直播講解
  • 【金猿技術展】鏡像生成式神經機器翻譯模型——MGNMT
    在這樣的場景中，1）雙語平行數據非常珍貴，需要更高效地利用；2）由於雙語數據稀缺，如何能利用大規模的非平行的單語數據就非常重要。然而，目前的機器翻譯模型存在以下問題，阻礙了機器翻譯在上述低資源場景中的應用： 目前機器翻譯模型將兩個方向分開進行優化，比如中文到英文和英文到中文是完全獨立的兩個模型。但是實際上，這兩個互為鏡像翻譯方向是高度相關的。
  • 基於深度神經網絡構建風電機組性能模型的超參數選擇
    風電機組性能評估依賴於建立風電機組性能模型，即建立風電機組輸出功率與風電機組各關鍵參數( 如風速、槳距角、偏航角等) 之間的函數關係，這屬於典型的非線性回歸問題；在機器學習領域，深度神經網絡是解決該問題的經典手段，因此，利用其構建風電機組性能模型自然得到了行業內研究者的廣泛嘗試。
  • 深度學習有望詮釋微觀世界
    基於深度學習的微觀圖像分析方法的流程（北京郵電大學供圖）用透射電子顯微鏡（TEM）、掃描電子電鏡(SEM)、掃描探針顯微鏡(SPM)先進儀器等獲取微觀圖像，幫助人們理解物質的結構，已成為材料研究界普遍使用的方法。
  • 神經網絡之父Geoffrey Hinton傑弗裡·欣頓 跨過人工智慧寒冬談深度學習
    ，是1947年12月6日英國出生的加拿大認知心理學家和計算機科學家，愛丁堡大學人工智慧博士，目前是多倫多大學特聘教授，以他的人工神經網絡(artificial neural networks)而出名，被稱為「神經網絡之父」、「深度學習鼻祖」。
  • 124頁,UC伯克利大學胡戎航博士論文公布:視覺與語言推理的結構化模型
    來源：機器之心 本文約1500字，建議閱讀5分鐘 UC 伯克利大學計算機科學博士胡戎航（Ronghang Hu）的博士論文新鮮出爐，內容涉及視覺與語言推理的結構化模型
  • 豐田工業大學芝加哥分校在讀博士石昊悅:基於自然監督信號的句法...
    句法分析，作為自然語言處理中的關鍵技術之一，基本任務是確定句子的句法結構（如主謂賓結構）和句子中詞彙之間的依存關係（如從屬、並列等），可以為語義分析、情感傾向分析、觀點抽取等NLP具體應用場景打下堅實的基礎。在「NLP前沿講座」第1講的講座中，智東西公開課邀請到豐田工業大學芝加哥分校的在讀博士石昊悅，為大家帶來主題為《基於自然監督信號的句法結構學習》的講座。
  • 基於光照感知深度神經網絡的多光譜數據融合行人檢測
    在本文中，我們證明了編碼在多光譜圖像中的光照信息可以顯著提高行人檢測的性能。提出了一種新的光照感知加權機制來準確描述場景的光照條件。將這些光照信息整合到雙流深度卷積神經網絡中，學習不同光照條件下（白天和夜間）的多光譜人體相關特徵。此外，我們利用光照信息與多光譜數據結合來生成更準確的語義分割，從而提高行人檢測的準確率。
  • 如何加速神經語言模型訓練?東北大學小牛翻譯團隊有妙招
    那要如何知道每個詞出現時的概率呢？在神經語言模型中，其整體結構如上圖所示（圖為循環神經語言模型[1]），輸入層將離散表示的詞彙轉化成連續空間上的詞向量，不同詞彙之間的向量距離能夠反映詞語之間的相似性。二、更快地訓練神經語言模型隨著在語音識別、機器翻譯等領域對語言模型性能需求的日益增長，我們迫切地希望能夠進一步改善神經語言模型的性能。一般來說使用更大量的訓練數據來訓練更複雜的模型結構將會獲得更優的模型性能，但與此同時帶來的問題在於其訓練所花費的時間消耗也相應地變長了。面對這種情況，如何有效地減少訓練神經語言模型佔用的時間成為了亟待解決的問題。
  • 基於神經進化的深度學習模型研究綜述
    摘要 深度學習研究發展至今已可以勝任各類識別、分類、生成任務，但是對於不同的任務，神經網絡的結構或參數不可能只是微小的變化，依然需要專家進行調整
  • 深度| 做到這些值4億美元:看 Nervana 如何利用深度學習實現數據...
    我們擁有數據科學領域內的權威專家，通過龐大的數據量提高學習性能，最終獲得高度具象化的能力。這種能力是非常強大的，類似於過去二十到二十五年間計算機對於人類的意義。在短短的兩年內，深度學習這種新方法就被廣泛地應用於工業中了，包括通信、語音處理、圖像識別以及視頻處理等等，其中大量的數據都可以被人們利用，所以我認為未來的前景是非常光明的。
  • 事後解釋VS自解釋,牛津CS博士小姐姐134頁畢業論文探索神經網絡...
    機器之心報導編輯：小舟、杜偉如何解釋深度神經網絡對於人工智慧的發展具有重要的作用，也吸引了越來越多學界和業界人士的注意。在這篇長達 134 頁的博士論文中，一位來自牛津大學的計算機科學博士生對這一課題進行了深入的探討，帶我們走進深度神經網絡的世界。近年來，深度神經網絡正在計算機視覺、自然語言處理和語音識別等多種領域發揮著重要作用，推動了人工智慧的發展。但是，深度神經網絡仍存在一些局限性，例如這些模型的決策過程通常無法向用戶解釋。
  • Cell:新型探針能夠檢測細胞中缺陷線粒體的破壞過程 有望揭示多種...
    2020年8月17日 訊 /生物谷BIOON/ --近日，一項刊登在國際雜誌Cell上的研究報告中，來自日本理化學研究所等機構的科學家們通過研究開發出了一種通用的探針，其或能幫助準確檢測細胞中缺陷線粒體的程序性破壞，研究者表示，線粒體是細胞中的能量工廠，在患有類似帕金森疾病的小鼠模型中，產多巴胺的神經元細胞中受損的線粒體或許無法被摧毀。
  • 復旦大學黃萱菁:自然語言處理中的表示學習
    復旦大學黃萱菁帶來報告《自然語言處理中的表示學習》。黃萱菁，復旦大學計算機科學技術學院教授、博士生導師。1998年於復旦大學獲計算機理學博士學位，研究領域為人工智慧、自然語言處理、信息檢索和社會媒體分析。兼任中國中文信息學會常務理事，社會媒體專委會副主任，中國計算機學會中文信息技術專委會副主任。