今日Paper|梯度剪切;命名實體識別;自然語言處理;免強度函數學習等

2020-12-25 雷鋒網

目錄

梯度剪切可以加速梯度下降完成命名實體識別的雙向LSTM+CRF結構完成命名實體識別的神經網絡結構自然語言處理（幾乎）從頭開始免強度函數學習的時間點過程

梯度剪切可以加速梯度下降

論文名稱：Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity

作者：Jingzhao Zhang /Tianxing He /Suvrit Sra /Ali Jadbabaie

發表時間：2019/9/26

論文連結：https://paper.yanxishe.com/review/10859?from=leiphonecolumn_paperreview0212

在神經網絡的訓練過程中對梯度進行剪切是最近越來越流行的一個趨勢，但很多人都不清楚這種做法為什麼有效。這篇論文就給出了理論解釋以及證明，證明了梯度剪切確實對網絡訓練有幫助作用。

作者們從實際網絡的訓練過程中的平滑性出發，進行了仔細的分析和推理，證明了梯度剪切和梯度正則化兩種常見方法都可以比傳統的固定步驟大小的梯度下降收斂得更快。作者們也做了進一步的解釋，並在常見的網絡訓練設定下通過實驗驗證了他們的理論。

這篇論文得到了審稿人的一致好評，被ICLR2020接收為口頭報告論文。

完成命名實體識別的雙向LSTM+CRF結構

論文名稱：Bidirectional LSTM-CRF Models for Sequence Tagging

作者：Zhiheng Huang /Wei Xu /Kai Yu

發表時間：2015/8/9

論文連結：https://paper.yanxishe.com/review/10858?from=leiphonecolumn_paperreview0212

核心問題：這篇論文是完成命名實體識別的工作，這是一系列使用RNN結構並結合CRF層進行NER的工作的文章之一。

創新點：本論文的創新點是使用了雙向LSTM+CRF作為網絡模型，這種創新的意義都是結構上的創新，很多時候模型的效果就是結構上的創新。

研究意義：證明BI-LSTM-CRF模型可以有效地利用過去和未來的輸入信息。

完成命名實體識別的神經網絡結構

論文名稱：Neural Architectures for Named Entity Recognition

作者：Guillaume Lample /Miguel Ballesteros /Sandeep Subramanian /Kazuya Kawakami

發表時間：2016/4/7

論文連結：https://paper.yanxishe.com/review/10857?from=leiphonecolumn_paperreview0212

推薦原因

核心問題：本文是完成是nlp領域中經典的命名識別識別的問題，本論文可以說是承上啟下的作用，它的做法改變了之前的做法，並且之後的很多任務都是使用這樣的基本結構。

創新點：先前的使用的核心模型都是CNN，本文中使用RNN代替CNN，並且搭建了一套RNN+CRF的模型結構，這種模型結構效果不錯

研究意義：通過實現效果，在英語、荷蘭語、德語以及西班牙語上使用LSTM-CRF的實驗都證明了能夠獲得較好的NER性能，並且在沒有任何人工標註特徵的條件下，在英語上獲得非常好的性能。

自然語言處理（幾乎）從頭開始

論文名稱：Natural Language Processing (Almost) from Scratch

作者：Ronan Collobert /Jason Weston /Leon Bottou /Michael Karlen /Koray Kavukcuoglu /Pavel Kuksa

發表時間：2011/1/10

論文連結：https://paper.yanxishe.com/review/10856?from=leiphonecolumn_paperreview0212

推薦原因

本文所解決得核心問題：這個論文提出了一種深度神經網絡得方法來完成多種nlp任務，比如詞性標註、組塊、命名實體識別和語義角色標記。

研究重點：本文算是很早使用深度學習得方法來做類似得任務，它比機器學習得優勢就是不懂手動得來構建特徵，並且不需要根據任務得不同構建不同得特徵。它通過兩個網絡模型來完成，一個網絡模型用於提取局部的特徵，另外一個網絡模型用於提取全局特徵。

研究意義：本文使用得核心思想是多任務訓練得思路，具體來說先訓練好word embedding，然後使用該詞向量完成之後得子任務，並且取得了良好得表現。

這篇文章核心使用得是卷積神經網絡，其實有些時候我發現在文本領域，卷積神經網絡取得的效果也是不錯得。

免強度函數學習的時間點過程

論文名稱：Intensity-Free Learning of Temporal Point Processes

作者：Shchur Oleksandr /Bilo Marin /Günnemann Stephan

發表時間：2019/9/26

論文連結：https://paper.yanxishe.com/review/10386?from=leiphonecolumn_paperreview0212

推薦原因

時間點過程是一類有效的用於建模連續時間域的異步事件序列方法。該方法在事件預測，因果分析，圖建模等方向有著廣泛的應用。使用該方法的一個核心問題是條件強度函數的設計。然而簡單的指定強度函數(指數分布族等)會造成模型表達能力有限，複雜的方式又會造成強度函數中survival積分項計算困難，需要藉助數值方法求解。本文另闢蹊徑，不再建模強度函數，而是分別提出基於流的方法和混合高斯的方法直接建模條件概率。最後的實驗在時間序列預測等任務上達到或者超過了目前的sota, 並且所提出方法非常適合用於學習序列embedding和缺失信息情況下的序列問題。

論文作者團隊招募

為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復現。致力成為國內外前沿研究成果學習討論和發表的聚集地，也讓優秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術的你，可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

1.署著你名字的文章，將你打造成最耀眼的學術明星

2.豐厚的稿酬

3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要：

1.將你喜歡的論文推薦給廣大的研習社社友

2.撰寫論文解讀

雷鋒網雷鋒網雷鋒網

相關焦點

  • 一文讀懂命名實體識別
    甚至有一些工作不限定「實體」的類型，而是將其當做開放域的命名實體識別和分類。03常見方法早期的命名實體識別方法基本都是基於規則的。之後由於基於大規模的語料庫的統計方法在自然語言處理各個方面取得不錯的效果之後，一大批機器學習的方法也出現在命名實體類識別任務。
  • 命名實體識別的兩種方法
    ——命名實體識別的兩種方法。通常包括兩部分：（1）實體邊界識別；（2） 確定實體類別（人名、地名、機構名或其他）。命名實體識別通常是知識挖掘、信息抽取的第一步，被廣泛應用在自然語言處理領域。接下來，我們將介紹常用的兩種命名實體識別的方法。
  • 初學者|一文讀懂命名實體識別
    命名實體識別（Named Entity Recognition，簡稱NER），又稱作「專名識別」，是指識別文本中具有特定意義的實體，主要包括人名、地名、機構名、專有名詞等。簡單的講，就是識別自然文本中的實體指稱的邊界和類別。
  • 今日Paper | 語義多任務學習;遞歸神經;損失平面;MT-BioNER等
    理解遞歸神經網絡中的泛化分段線性激活實質上塑造了神經網絡的損失平面MT-BioNER：使用BERT結構的多任務學習模型進行醫藥領域的命名實體識別一種面向語義表徵的層次型多任務學習方法  利用不確定性設計損失權重進行場景幾何和語義多任務學習
  • 超詳綜述 | 基於深度學習的命名實體識別
    ©PaperWeekly 原創 · 作者｜馬敏博單位｜西南交通大學碩士生研究方向｜命名實體識別
  • 【NLP】一文了解命名實體識別
    導讀：從1991年開始，命名實體識別逐漸開始走進人們的視野，在各評測會議的推動下，命名實體識別技術得到了極大地發展，從最初的基於規則和字典的方法，到現在熱門的注意力機制、圖神經網絡等方法，命名實體識別已經在各開放數據集上取得了很高的準確率，但從自然語言處理實際應用的角度來看，命名實體識別技術依舊面臨著很大的挑戰。
  • 基礎卻不簡單,命名實體識別的難點與現狀
    命名實體識別(Named Entities Recognition, NER)是自然語言處理(Natural Language Processing, NLP)的一個基礎任務，其目的是識別語料中人名、地名、組織機構名等命名實體，在所有涉及NLP的人工智慧研究中——譬如智能客服——都是一個必須首先攻克的任務。
  • 嵌套命名實體識別任務簡介
    本期導讀：嵌套命名實體是一種特殊形式的命名實體，由於其複雜的層次化結構，傳統的基於序列標註的命名實體模型不能很好地解決嵌套命名實體識別的任務。因此，自然語言處理領域的研究者們提出了很多專門解決嵌套命名實體識別任務的模型和方法。
  • 【NLP基礎】信息抽取(Information Extraction:NER(命名實體識別),關係抽取)
    >單位 | 快商通科技股份有限公司 自然語言處理實習生信息抽取的定義為：從自然語言文本中抽取指定類型的實體、關係、事件等事實信息，並形成結構化數據輸出的文本處理技術信息抽取是從文本數據中抽取特定信息的一種技術。
  • 今日Paper|語義多任務學習;遞歸神經;損失平面;MT-BioNER等
    目錄利用不確定性設計損失權重進行場景幾何和語義多任務學習理解遞歸神經網絡中的泛化分段線性激活實質上塑造了神經網絡的損失平面MT-BioNER：使用BERT結構的多任務學習模型進行醫藥領域的命名實體識別作者從貝葉斯理論的角度，提出了一種替代人工調參來確定多任務損失函數權重的方法，不僅有效，且可解釋性強。這種方法未必是萬能的，但是無疑是提出了一個可行的搜索子空間，為多任務學習設計損失函數提出了一種新的思路。
  • 元學習與自然語言處理
    事實上，深度學習飽為詬病的一大特點之一就是它面對小樣本數據集極易過擬合。我們能夠採用正則化、數據增強等方式規避過擬合問題，但這些策略都沒有為模型學習的過程提供更豐富的信息量。然而當我們反觀人類智力與認知的發展過程卻能發現人類並沒有受到小樣本的制約。比如，當人類懂得識別貓、狗圖像後，只要提供關於某種動物的少量圖片，人類就能迅速提取到圖像中的有效特徵，從而具備識別該類圖片的能力。
  • 復旦大學黃萱菁:自然語言處理中的表示學習
    復旦大學黃萱菁帶來報告《自然語言處理中的表示學習》。黃萱菁，復旦大學計算機科學技術學院教授、博士生導師。1998年於復旦大學獲計算機理學博士學位，研究領域為人工智慧、自然語言處理、信息檢索和社會媒體分析。兼任中國中文信息學會常務理事，社會媒體專委會副主任，中國計算機學會中文信息技術專委會副主任。
  • 「NLP實戰系列」Tensorflow命名實體識別實戰
    實戰是學習一門技術最好的方式，也是深入了解一門技術唯一的方式。因此，NLP專欄計劃推出一個實戰專欄，讓有興趣的同學在看文章之餘也可以自己動手試一試。本篇介紹自然語言處理中一種非常重要的任務：命名實體識別。
  • NLP入門篇:命名實體識別
    命名實體識別命名實體識別（Named Entity Recognition，NER）是 NLP 中一項非常基礎的任務。NER 是信息提取、問答系統、句法分析、機器翻譯等眾多 NLP 任務的重要基礎工具。命名實體識別是什麼要了解 NER ，首先要先明白，什麼是實體。
  • 深度學習中的不可導操作(次梯度和重參數化)
    答案就是:次梯度次梯度對於ReLU函數, 當x>0的時候,其導數為1; 當x<0時,其導數為0.使用上，常規的有監督學習任務（分類器訓練）中，直接學習輸出的概率分布是自然的選擇；而對於涉及採樣的學習任務（VAE 隱變量採樣、強化學習中對actions 集合進行採樣以確定下一步的操作），gumbel-softmax 提供了一種再參數化的方法，使得模型可以以端到端的方式進行訓練。
  • 獨家| 人工智慧學習篇7:自然語言處理開源框架
    如圖1所示，自然語言處理的基礎研究領域包括文本分類、依存分析、命名實體識別、詞性標註、中文分詞、情感分析、信息抽取、文本摘要等，這些任務主要在於「處理」，為後續進一步的「理解」和「應用」 提供基礎。OpenNLP是基於機器學習的自然語言處理工具包，是Apache Software Foundation在2010年開發的基於Apache 2.0協議的開源軟體。OpenNLP提供 基於機器學習的自然語言文本處理功能，包括分詞、分句、分塊、詞性標註、命名實體識別、語法解析、指代消解等，為進一步完成後續任務提供 支持。
  • 今日Paper | 多人姿勢估計;對話框語義分析;無監督語義分析;自然...
    論文名稱：Grounded Unsupervised Semantic Parsing作者：Hoifung Poon發表時間：2017/5/13論文連結：https://paper.yanxishe.com/review/9234推薦原因核心問題：這是一篇做語義解析的工作，具體來說就是通過無監督的方式，將自然語言轉成精準的資料庫查詢
  • 十分鐘學習自然語言處理概述
    2 什麼是自然語言處理？自然語言處理是計算機科學領域與人工智慧領域中的一個重要方向。它研究人與計算機之間用自然語言進行有效通信的理論和方法。融語言學、計算機科學、數學等於一體的科學。自然語言處理原理：形式化描述-數學模型算法化-程序化-實用化語音的自動合成與識別、機器翻譯、自然語言理解、人機對話、信息檢索、文本分類、自動文摘等。3 常用中文分詞？
  • 【計算機系統應用】 (第五十五期)基於BERT-BiLSTM-CRF模型的中文實體識別
    命名實體識別(Named Entity Recognition, NER)是自然語言處理的關鍵技術之一, 同時也是作為知識抽取的一項子任務, 其主要作用就是從海量文本中識別出特定類別的實體
  • 用Keras+LSTM+CRF的實踐命名實體識別NER
    文本分詞、詞性標註和命名實體識別都是自然語言處理領域裡面很基礎的任務，他們的精度決定了下遊任務的精度，其實在這之前我並沒有真正意義上接觸過命名實體識別這項工作，雖然說讀研期間斷斷續續也參與了這樣的項目，但是畢業之後始終覺得一知半解的感覺，最近想重新撿起來，以實踐為學習的主要手段來比較系統地對命名實體識別這類任務進行理解