今日Paper | 梯度剪切;命名實體識別;自然語言處理;免強度函數學習...

2020-11-26 雷鋒網

  • 梯度剪切可以加速梯度下降

  • 完成命名實體識別的雙向LSTM+CRF結構

  • 完成命名實體識別的神經網絡結構

  • 自然語言處理（幾乎）從頭開始

  • 免強度函數學習的時間點過程

論文名稱：Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity

作者：Jingzhao Zhang /Tianxing He /Suvrit Sra /Ali Jadbabaie

發表時間：2019/9/26

論文連結：https://paper.yanxishe.com/review/10859?from=leiphonecolumn_paperreview0212

在神經網絡的訓練過程中對梯度進行剪切是最近越來越流行的一個趨勢，但很多人都不清楚這種做法為什麼有效。這篇論文就給出了理論解釋以及證明，證明了梯度剪切確實對網絡訓練有幫助作用。

作者們從實際網絡的訓練過程中的平滑性出發，進行了仔細的分析和推理，證明了梯度剪切和梯度正則化兩種常見方法都可以比傳統的固定步驟大小的梯度下降收斂得更快。作者們也做了進一步的解釋，並在常見的網絡訓練設定下通過實驗驗證了他們的理論。

這篇論文得到了審稿人的一致好評，被ICLR2020接收為口頭報告論文。

論文名稱：Bidirectional LSTM-CRF Models for Sequence Tagging

作者：Zhiheng Huang /Wei Xu /Kai Yu

發表時間：2015/8/9

論文連結：https://paper.yanxishe.com/review/10858?from=leiphonecolumn_paperreview0212

核心問題：這篇論文是完成命名實體識別的工作，這是一系列使用RNN結構並結合CRF層進行NER的工作的文章之一。

創新點：本論文的創新點是使用了雙向LSTM+CRF作為網絡模型，這種創新的意義都是結構上的創新，很多時候模型的效果就是結構上的創新。

研究意義：證明BI-LSTM-CRF模型可以有效地利用過去和未來的輸入信息。

論文名稱：Neural Architectures for Named Entity Recognition

作者：Guillaume Lample /Miguel Ballesteros /Sandeep Subramanian /Kazuya Kawakami

發表時間：2016/4/7

論文連結：https://paper.yanxishe.com/review/10857?from=leiphonecolumn_paperreview0212

推薦原因

核心問題：本文是完成是nlp領域中經典的命名識別識別的問題，本論文可以說是承上啟下的作用，它的做法改變了之前的做法，並且之後的很多任務都是使用這樣的基本結構。

創新點：先前的使用的核心模型都是CNN，本文中使用RNN代替CNN，並且搭建了一套RNN+CRF的模型結構，這種模型結構效果不錯

研究意義：通過實現效果，在英語、荷蘭語、德語以及西班牙語上使用LSTM-CRF的實驗都證明了能夠獲得較好的NER性能，並且在沒有任何人工標註特徵的條件下，在英語上獲得非常好的性能。

論文名稱：Natural Language Processing (Almost) from Scratch

作者：Ronan Collobert /Jason Weston /Leon Bottou /Michael Karlen /Koray Kavukcuoglu /Pavel Kuksa

發表時間：2011/1/10

論文連結：https://paper.yanxishe.com/review/10856?from=leiphonecolumn_paperreview0212

推薦原因

本文所解決得核心問題：這個論文提出了一種深度神經網絡得方法來完成多種nlp任務，比如詞性標註、組塊、命名實體識別和語義角色標記。

研究重點：本文算是很早使用深度學習得方法來做類似得任務，它比機器學習得優勢就是不懂手動得來構建特徵，並且不需要根據任務得不同構建不同得特徵。它通過兩個網絡模型來完成，一個網絡模型用於提取局部的特徵，另外一個網絡模型用於提取全局特徵。

研究意義：本文使用得核心思想是多任務訓練得思路，具體來說先訓練好word embedding，然後使用該詞向量完成之後得子任務，並且取得了良好得表現。

這篇文章核心使用得是卷積神經網絡，其實有些時候我發現在文本領域，卷積神經網絡取得的效果也是不錯得。

論文名稱：Intensity-Free Learning of Temporal Point Processes

作者：Shchur Oleksandr /Biloš Marin /Günnemann Stephan

發表時間：2019/9/26

論文連結：https://paper.yanxishe.com/review/10386?from=leiphonecolumn_paperreview0212

推薦原因

時間點過程是一類有效的用於建模連續時間域的異步事件序列方法。該方法在事件預測，因果分析，圖建模等方向有著廣泛的應用。使用該方法的一個核心問題是條件強度函數的設計。然而簡單的指定強度函數(指數分布族等)會造成模型表達能力有限，複雜的方式又會造成強度函數中survival積分項計算困難，需要藉助數值方法求解。本文另闢蹊徑，不再建模強度函數，而是分別提出基於流的方法和混合高斯的方法直接建模條件概率。最後的實驗在時間序列預測等任務上達到或者超過了目前的sota, 並且所提出方法非常適合用於學習序列embedding和缺失信息情況下的序列問題。

為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復現。致力成為國內外前沿研究成果學習討論和發表的聚集地，也讓優秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術的你，可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

    1.署著你名字的文章，將你打造成最耀眼的學術明星

    2.豐厚的稿酬

    3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要：

    1.將你喜歡的論文推薦給廣大的研習社社友

    2.撰寫論文解讀

如果你已經準備好加入 AI 研習社的論文兼職作者團隊，可以添加運營小姐姐的微信，備註「論文兼職作者」

雷鋒網(公眾號：雷鋒網)雷鋒網雷鋒網

相關文章：

今日 Paper | 小樣本學習；機器學習；單幅圖像去霧 ；零樣本目標檢測等

今日 Paper | 可視問答模型；神經風格差異轉移；圖像壓縮系統 ；K-SVD圖像去噪等

今日 Paper | 依賴性解析器；DNNs對圖像損壞；高效人臉特徵學習 ；虛擬試穿統一框架等

今日 Paper | 模態平衡模型；組合語義分析；高表達性SQL查詢；多人姿態估計模型等

今日 Paper | 多人姿勢估計；對話框語義分析；無監督語義分析；自然語言處理工具包等

今日 Paper | 多人線性模型；身體捕捉；會話問答；自然語言解析；神經語義

今日 Paper | 手部和物體重建；三維人體姿態估計；圖像到圖像變換等

今日 Paper | 動態手勢識別；領域獨立無監督學習；基於BERT的在線金融文本情感分析等

今日 Paper | 新聞推薦系統；多路編碼；知識增強型預訓練模型等

今日 Paper | 小樣本學習；視覺情感分類；神經架構搜索；自然圖像摳像等

今日 Paper | 蚊子叫聲數據集；提高語音識別準確率；對偶注意力推薦系統等

今日 Paper | 人臉數據隱私；神經符號推理；深度學習聊天機器人等

今日 Paper | 虛擬試穿網絡；人群計數基準；聯邦元學習；目標檢測等

今日 Paper | 人體圖像生成和衣服虛擬試穿；魯棒深度學習；圖像風格遷移等

今日 Paper | 隨機微分方程；流式自動語音識別；圖像分類等

今日 Paper | 高維感官空間機器人；主動人體姿態估計；深度視頻超解析度；行人重識別等

今日 Paper | 3D手勢估計；自學習機器人；魯棒語義分割；卷積神經網絡；混合高斯過程等

今日 Paper | 精簡BERT；面部交換；三維點雲；DeepFakes 及 5G 等

今日 Paper | 虛假新聞檢測；馬爾可夫決策過程；場景文本識別；博弈論框架等

今日 Paper | 問答系統；3D人體形狀和姿勢；面部偽造檢測；AdderNet等

雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 復旦大學黃萱菁:自然語言處理中的表示學習
    復旦大學黃萱菁帶來報告《自然語言處理中的表示學習》。黃萱菁，復旦大學計算機科學技術學院教授、博士生導師。1998年於復旦大學獲計算機理學博士學位，研究領域為人工智慧、自然語言處理、信息檢索和社會媒體分析。兼任中國中文信息學會常務理事，社會媒體專委會副主任，中國計算機學會中文信息技術專委會副主任。
  • 基礎卻不簡單,命名實體識別的難點與現狀
    命名實體識別(Named Entities Recognition, NER)是自然語言處理(Natural Language Processing, NLP)的一個基礎任務，其目的是識別語料中人名、地名、組織機構名等命名實體，在所有涉及NLP的人工智慧研究中——譬如智能客服——都是一個必須首先攻克的任務。
  • 【NLP基礎】信息抽取(Information Extraction:NER(命名實體識別),關係抽取)
    >單位 | 快商通科技股份有限公司 自然語言處理實習生信息抽取的定義為：從自然語言文本中抽取指定類型的實體、關係、事件等事實信息，並形成結構化數據輸出的文本處理技術信息抽取是從文本數據中抽取特定信息的一種技術。
  • 如何用深度學習做自然語言處理?這裡有份最佳實踐清單
    對於如何使用深度學習進行自然語言處理，本文作者 Sebastian Ruder 給出了一份詳細的最佳實踐清單，不僅包括與大多數 NLP 任務相關的最佳實踐，還有最常見任務的最佳實踐，尤其是分類、序列標註、自然語言生成和神經機器翻譯。作者對最佳實踐的選擇很嚴格，只有被證明在至少兩個獨立的群體中有益的實踐才會入選，並且每個最佳實踐作者至少給出兩個參引。
  • 人工智慧難點之——自然語言處理(NLP)
    什麼是自然語言處理NLP是計算機以一種聰明而有用的方式分析，理解和從人類語言中獲取意義的一種方式。通過利用NLP，開發者可以組織和構建知識來執行自動摘要，翻譯，命名實體識別，關係提取，情感分析，語音識別和話題分割等任務。
  • 從語言學到深度學習NLP,一文概述自然語言處理
    本文從兩篇論文出發先簡要介紹了自然語言處理的基本分類和基本概念，再向讀者展示了深度學習中的 NLP。這兩篇論文都是很好的綜述性入門論文，希望詳細了解自然語言處理的讀者可以進一步閱讀這兩篇論文。本文第一部分介紹了自然語言處理的基本概念，作者將 NLP 分為自然語言理解和自然語言生成，並解釋了 NLP 過程的各個層級和應用，這一篇論文很適合讀者系統的了解 NLP 的基本概念。
  • 深度| 深度學習概覽之自然語言處理:從基本概念到前沿研究
    選自Adit Deshpande blog作者：Adit Deshpande機器之心編譯參與：趙華龍、王宇欣、吳攀本文是 Adit Deshpande 的 Deep Learning Research Review 系列文章的第三篇，總結和解讀了深度學習在自然語言處理領域的應用。
  • 自然語言處理深度學習的7個應用
    原文：7 Applications of Deep Learning for Natural Language Processing作者：Jason Brownlee翻譯：無阻我飛揚摘要：在這篇文章中，作者詳細介紹了自然語言處理深度學習的7種應用，以下是譯文。自然語言處理領域正在從統計方法轉變為神經網絡方法。
  • 今日Paper|3D門控遞歸融合;雙注意力GAN;通用目標檢測器;無監督域...
    目錄用於語義場景完成的3D門控遞歸融合用於大姿態人臉正面化的雙注意力GANUniversal-RCNN：基於可轉移圖R-CNN的通用目標檢測器用於圖像深度估計的無監督域自適應嵌套命名實體識別的神經分層模型用於語義場景完成的3D門控遞歸融合論文名稱：3D Gated Recurrent
  • NLP實戰-中文命名實體識別
    並星標，更多乾貨，第一時間送達來源：知乎    原文：見文末閱讀原文    作者：MaggicQ編輯整理：python遇見NLP（公眾號）僅做學術分享，侵刪前言：本文章將通過pytorch作為主要工具實現不同的模型（包括HMM，CRF，Bi-LSTM，Bi-LSTM+CRF）來解決中文命名實體識別問題
  • AI自然語言處理(NLP)領域常用的16個術語
    1.自然語言處理(NLP)自然語言處理，簡單來說就是構建人與機器之間溝通的橋梁，以實現人機交流的目的。自然語言處理有兩大核心任務：自然語言理解(NLU)與自然語言生成(NLG)。6.詞性標註(Part Of Speech)詞性標註是自然語言處理過程中一項非常重要的基礎工作。簡單來說就是在給定句子中判定每個詞的語法範疇，確定其詞性並加以標註的過程。詞性標註常用的4種方法分別為：基於規則、基於統計、基於規則+統計、基於深度學習。
  • BERT模型:自然語言處理最新裡程碑完整詳解!
    與BERT模型相似的預訓練語言模型例如問答、命名實體識別、自然語言推理、文本分類等在許多自然語言處理任務中發揮著重要作用。BERT是一種基於微調的多層雙向變換器編碼器。首先介紹下該變換器的架構，這一點尤為重要。什麼是變換器（Transformer）？
  • 多因子融合的實體識別與鏈指消歧
    Abstract：實體識別與鏈指消歧，又稱為Entity recognition和Entity linking，是自然語言處理領域的基礎任務之一。最近基於語言模型的預訓練模型變的越來越受歡迎，比如Bert[5]，XLnet[6]等等。這種通過大數據預訓練的方式產生的語言詞彙向量表徵相比於傳統方法前進了一大步。因此基於預訓練模型的實體識別結果也提高了很多。得益於預訓練模型強大的實體識別能力，本文因此採用兩步走的方式來進行實體識別和鏈指消歧。
  • 中科院自動化所聯合實驗室獲CCKS2020醫療命名實體識別評測冠軍
    會上公布了CCKS-2020技術評測結果，雲知聲-中科院自動化所語言與知識計算聯合實驗室在「面向中文電子病歷的醫療命名實體識別評測任務」中獲得冠軍，並斬獲該任務唯一技術創新獎。CCKS由中國中文信息學會語言與知識計算專業委員會主辦，是知識圖譜、語義技術、連結數據等領域的核心會議。
  • 雲知聲-中科院自動化所聯合實驗室獲CCKS2020醫療命名實體識別評測...
    會上公布了CCKS-2020技術評測結果，雲知聲-中科院自動化所語言與知識計算聯合實驗室在「面向中文電子病歷的醫療命名實體識別評測任務」中獲得冠軍，並斬獲該任務唯一技術創新獎。CCKS由中國中文信息學會語言與知識計算專業委員會主辦，是知識圖譜、語義技術、連結數據等領域的核心會議。
  • NLP入門+實戰必讀:一文教會你最常見的10種自然語言處理技術
    從自動翻譯、文本分類到情緒分析，自然語言處理成為所有數據科學家的必備技能之一。在這篇文章中，你將學習到最常見的10個NLP任務，以及相關資源和代碼。為什麼要寫這篇文章？詞向量化是用一組實數構成的向量代表自然語言的叫法。這種技術非常實用，因為電腦無法處理自然語言。詞向量化可以捕捉到自然語言和實數間的本質關係。通過詞向量化，一個詞語或者一段短語可以用一個定維的向量表示，例如向量的長度可以為100。例如：「Man」這個詞語可以用一個五維向量表示。
  • 深度學習與自然語言處理的工作概述及未來發展
    深度學習是機器學習的一個領域，研究複雜的人工神經網絡的算法、理論、及應用。自從2006年被Hinton等提出以來［1］，深度學習得到了巨大發展，已被成功地應用到圖像處理、語音處理、自然語言處理等多個領域，取得了巨大成功，受到了廣泛的關注，成為當今具有代表性的IT先進技術。
  • 今日Paper|隨機微分方程;流式自動語音識別;圖像分類等
    為了幫助各位學術青年更好地學習前沿研究成果和技術，AI科技評論聯合Paper 研習社（paper.yanxishe.com），重磅推出【今日 Paper】欄目， 每天都為你精選關於人工智慧的前沿學術論文供你學習參考。
  • 今日Paper|點雲分類框架;多模式Transformer;神經網絡;有序神經元等
    from=leiphonecolumn_paperreview0304推薦原因這篇論文要解決的是行人重識別問題。在線實例匹配（OIM）損失函數和三元組（Triplet）損失函數是行人重識別問題的主要方法。