自然語言處理深度學習的7個應用

2021-02-13 GitChat精品課

↑ 點擊上方藍字關注我們,和小夥伴一起聊技術!

自然語言處理領域正在從統計方法轉變為神經網絡方法。

自然語言中仍有許多具有挑戰性的問題需要解決。然而,深度學習方法在一些特定的語言問題上取得了最新的成果。這不僅僅是深度學習模型在基準問題上的表現,基準問題也是最有趣的;事實上,一個單一的模型可以學習詞義和執行語言任務,從而消除了對專業手工製作方法渠道的需要。

在這篇文章中,你會發現7個有趣的自然語言處理任務,也會了解深度學習方法取得的一些進展(前排提示:文中所有標藍部分均可閱讀原文獲取詳情)。

文本分類

語言建模

語音識別

字幕生成

機器翻譯

文檔摘要

問答(Q&A)

我試圖專注於你可能感興趣的各種類型的終端用戶問題,而不是更多的學術或語言的子問題,在有些方面深度學習已經做的很好,如詞性標註,程序分塊,命名實體識別,等等。

每個示例提供了一個問題描述,示例,對演示方法和結果的文檔引用。大多數參考來自2015年的Goldberg’s 的優秀的NLP研究人員深度學習入門文獻 。

你有沒有一個深度學習中最受歡迎的NLP應用沒有被列出?請在下面的評論中告訴我。

文本分類

給出一個文本實例,預測一個預定義的類標籤。

文本分類的目的是對文檔的標題或主題進行分類。

—575頁,自然語言處理的基礎統計,1999

一個流行的分類示例是情感分析,類標籤代表源文本的情感基調,比如「積極的」或「消極的」。

下面是另外三個例子:

此外,這個問題可以用某種方式加以解決,將多個類分配給一個文本,即所謂的多標籤分類。如給一個源tweet預測多個#標籤。

更多相關主題的內容,請參見:

Scholarpedia的文本分類

維基百科的文檔分類

下面是3個文本分類深度學習的論文例子:

爛片評論的情感分析 

文本分類的DUCR結構方法,2015

亞馬遜產品評價的情感分析,IMDB電影評論和新聞文章的主題分類。

有效使用詞序進行基於卷積神經網絡的文本分類,2015

影評的情感分析,將句子分類為主觀的和客觀的,分類問題類型,產品評論的情感及更多。

基於卷積神經網絡的句子分類,2014

語言建模

語言建模真的是更有趣的自然語言問題的一個子任務,特別是那些在其它輸入條件下的語言模型。

…問題是根據給出的前一個詞來預測下一個詞。這項任務是語音或光學字符識別的基礎,也用於拼寫矯正,手寫識別和統計機器翻譯。

—191頁,統計自然語言處理基礎,1999.

除了對語言建模的學術興趣外,它也是許多自然語言處理體系結構深度學習的一個重要組成部分。

一個語言模型學習詞與詞之間的概率關係,這樣以來,新的詞的序列可以生成與源文本統計學上一致的文本內容。

單獨地,語言模型可用於文本或語音生成;例如:

生成新的文章標題。

生成新的句子,段落,或文件。

生成一個句子的建議延續的句子。

有關語言建模的更多信息,請參見:

下面是深度學習語言建模(僅有)的一個例子:

英語課文、書籍和新聞文章的的語言模型。

一種神經概率語言模型,2003

語音識別

語音識別是理解說了什麼的問題。

…語音識別的任務是將包含自然語言話語的語音映射成說話人想要表達的對應的詞。(傳統的語音識別模型是通過人工建立一張語音詞表,將相似發音的字母劃分為一類;並藉助一個分類模型實現語音到字母的轉譯。)

—458頁,深度學習,2016.

給定作為音頻數據的文本的發聲,該模型必須生成可讀的文本。

自動給出自然語言的處理,這個問題也可被稱為自動語音識別(ASR).

語言模型用於創建以音頻數據為條件的文本輸出。

包含的一些例子:

錄製語音。

為電影或電視節目創建文本字幕。

開車的時候向無線電發出指令。

有關語音識別的更多信息,請參見:

以下是用於語音識別深度學習的3個例子:

字幕生成

字幕生成是描述圖像內容的問題。

給定一個數字圖像,如一張圖片,生成關於這個圖像內容的文本描述。

語言模型用於創建符合圖像內容的字幕。

包含的一些例子:

描述一個場景的內容。

為照片創建標題。

描述一個視頻。

這不僅僅是對聽障者的一個應用程式,還可以為圖像和視頻數據生成可讀的文本,將來可以搜索,比如在網上。

以下是字幕生成深度學習的3個例子:

機器翻譯

機器翻譯是把源文本從一種語言轉換成另外一種語言的問題。

…機器翻譯,文本或語音從一種語言到另外一種語言的自動翻譯,它是NLP最重要的應用。

—463頁,統計自然語言處理基礎,1999.

考慮到深度神經網絡的使用,該領域被稱為神經機器翻譯。

在一個機器翻譯任務中,輸入由一些語言中的一系列符號組成,電腦程式必須把它轉換成另一種語言中的符號序列。這通常用於自然語言,比如從英語到法語的翻譯。深度學習最近開始對這種任務產生重要影響。

—98頁,深度學習,2016.

語言模型用於輸出翻譯以後語言的目標文本,以源文本為基礎。

包含的一些例子:

將一個文本文件從法語翻譯成英語。

將西班牙音頻翻譯成德語文本。

將英語文本翻譯成義大利音頻。

更多關於神經機器翻譯,請參見:

下面是機器翻譯深度學習的3個例子:

從英語到法語的文本翻譯。

基於神經網絡的片段到片段的學習,2014

從英語到法語的文本翻譯。

聯合學習對齊和翻譯的神經機器翻譯,2014

從英語到法語的文本翻譯。

基於循環神經網絡組合語言和翻譯模型,2013

文檔摘要

文檔摘要是對創建的文本文檔進行簡短描述的任務。

如上所述,語言模型用於基於完整文檔的摘要輸出。

一些文檔摘要的例子:

更多關於這個話題的信息,請參見:

維基百科上的自動摘要。

深度學習已經被應用於自動文本摘要(成功)了嗎?

下面是文檔摘要深度學習的3個例子:

問答

回答問題就是給定一個主題,如文本文件,回答關於這個主題的一個特定問題。

…問答系統嘗試回答用戶以問題形式表述的疑問,它返回適當的短語,如位置,人員,或者日期。例如,問題是總統甘迺迪為什麼被刺殺?可能回答的短語是:Oswald(「兇手」奧司華德)。

—377頁,統計自然語言處理基礎,1999

包含的一些例子:

更多關於問答的信息,請參見:

關於維基百科文章的問答

關於新聞文章的問答

關於醫療記錄的問答

下面是問答深度學習的3個例子:

擴展閱讀

如果你需要更深入的了解,本節提供更多用於NLP深度學習應用程式的資源。

原文:7 Applications of Deep Learning for Natural Language Processing 

作者:Jason Brownlee 

翻譯:無阻我飛揚

相關焦點

  • 深度學習在自然語言處理上的七大應用
    本文由 「AI前線」原創,原文連結:http://t.cn/RQhUr9y 作者|Jason Brownlee,譯者|CarolGuo,編輯|Emily 自然語言中仍然存在許多具有挑戰性的問題。然而,深度學習方法在某些特定的語言問題上可以獲得最先進的結果。
  • 【CCCF專題】深度學習在自然語言處理中的應用
    自然語言處理中的深度學習隨著語音和圖像處理領域的突破性進展,深度學習在自然語言處理領域也越來越受到重視,並逐漸應用於自然語言處理的各種任務中。然而自然語言處理任務有其自身的特點,與語音和圖像處理之間的不同主要體現在以下兩方面。語音和圖像在處理過程中的輸入信號可以在向量空間內表示,而自然語言處理通常在詞彙一級進行。
  • 自然語言處理終極方向:深度學習用於自然語言處理的5大優勢
    在自然語言處理領域,深度學習的承諾是:給新模型帶來更好的性能,這些新模型可能需要更多數據,但不再需要那麼多的語言學專業知識。 關於深度學習方法有很多炒作和大話,但除了炒作之外,深度學習方法正在為挑戰性問題取得最先進的結果,特別是在自然語言處理領域。 在這篇文章中,您將看到深度學習方法應對自然語言處理問題的具體前景。看
  • 深度學習在自然語言處理研究上的進展
    近兩年來,隨著對深度學習算法的理解逐漸加深,越來越多的研究者開始從輸入到輸出全部採用深度學習模型,並進行端到端的訓練,在很多任務上取得了比較大的突破。本文從詞嵌入、基礎模型和應用三個方面簡要地回顧和梳理近兩年深度學習在自然語言處理領域的進展。1.詞嵌入自然語言由詞構成。深度學習模型首先需要將詞表示為稠密向量,也叫詞嵌入。
  • 從語言學到深度學習NLP,一文概述自然語言處理
    本文從兩篇論文出發先簡要介紹了自然語言處理的基本分類和基本概念,再向讀者展示了深度學習中的 NLP。這兩篇論文都是很好的綜述性入門論文,希望詳細了解自然語言處理的讀者可以進一步閱讀這兩篇論文。本文第一部分介紹了自然語言處理的基本概念,作者將 NLP 分為自然語言理解和自然語言生成,並解釋了 NLP 過程的各個層級和應用,這一篇論文很適合讀者系統的了解 NLP 的基本概念。
  • 實踐入門NLP:基於深度學習的自然語言處理
    特別是最近兩年,基於深度學習的自然語言處理逐漸取得了一定進展,在人機對話、問答系統、語言翻譯等方向的應用也一直是自然語言處理中的熱門話題,而這些應用的實現,基本依賴於底層技術和模型的進步,再加上自然語言處理領域也算是一個多學科交叉的行業,自然語言處理的未來發展對於很多相關學科和方向都具有深遠的影響力。
  • 自然語言處理的應用前景
    這個API使用自然語言處理來檢查源文本以確定語言,然後使用神經機器翻譯將文本動態翻譯為另一種語言。這個API允許用戶將功能集成到他們自己的程序中。 自然語言處理(NLP)課程 有很多資源可用於學習創建和維護自然語言處理應用程式,其中許多是免費的資源。
  • 臺大這門深度學習自然語言處理課程,可能被低估了
    估計很多同學看到標題首先想到是李宏毅老師的「深度學習人類語言處理」課程,不過這次我們說的是臺灣大學陳蘊儂老師的「應用深度學習」課程,這門課程我們之前在公眾號上推薦過
  • CCCF專欄 | 自然語言處理中的深度學習:評析與展望
    為什麼深度學習能夠成為自然語言處理的強大工具?未來深度學習在自然語言處理中將如何發展?本文嘗試回答這兩個大家都關心的問題。人的語言處理人是如何進行語言處理,即語言理解和語言生成的?這個問題仍是當今科學最大的未解之迷。
  • 自然語言處理(NLP)中的深度學習發展史和待解難題
    王小新 編譯自 sigmoidal量子位 出品 | 公眾號 QbitAI自然語言處理(NLP)是指機器理解並解釋人類寫作與說話方式的能力。近年來,深度學習技術在自然語言處理方面的研究和應用也取得了顯著的成果。技術博客Sigmoidal最近發布了一篇文章,作者是機器學習工程師Rafal。
  • CNCC 2019 | 劉群:基於深度學習的自然語言處理,邊界在哪裡?
    >當前,深度學習之於自然語言處理,有其局限性。近日,在北京語言大學舉辦的第四屆語言與智能高峰論壇上,華為諾亞方舟實驗室語音語義首席科學家劉群教授高屋建瓴,細緻分析了深度學習時代NLP的已知與未知。他從自然語言處理基於規則、統計到深度學習的範式遷移出發,探討了深度學習方法解決了自然語言處理的哪些問題以及尚未解決哪些問題。
  • 獨家| 人工智慧學習篇7:自然語言處理開源框架
    20世紀60年代,自然語言處理早期研究以機器翻譯為主,但由於理論和技術均不成熟,進展不大,且大多數自然語言處理系統都是基於複雜人工規則實現。從80年代末開始,自然語言處理引入了機器學習算法並嘗試從語料中學習統計特徵。自然語言具有稀疏性和語義性等特點,如何對字、詞、短語、句、段、篇章等結構進行有效表示,是研究自然語言處理需解決的首要問題。
  • 【NLP專題】斯坦福CS224n課程筆記01:自然語言處理與深度學習簡介
    本節課計劃什麼是自然語言處理? 人類語言的本質 (15 mins)什麼是深度學習?(15 mins)課程安排 (15mins)為什麼語言理解很困難(10mins)基於深度學習的自然語言處理應用介紹 (20 mins)一.自然語言處理
  • ...復旦大學邱錫鵬老師】面向自然語言處理的深度學習基礎,199頁ppt
    《面向自然語言處理的深度學習基礎》講座,總共199頁ppt,講述自然語言處理的理論與實踐,是非常好的學習資料。
  • 帶新手走進自然語言處理,7本NLP專業書
    基於深度學習的自然語言處理老K推薦語:「這本書側重於神經網絡模型在自然語言處理中的應用。本文首先介紹了有監督機器學習和前饋神經網絡的基本知識,如何將機器學習方法應用到自然語言處理中,以及詞向量表示(而不是符號表示)的應用。然後介紹了更為專業化的神經網絡結構,包括一維卷積神經網絡、循環神經網絡、條件生成模型和基於注意的模型。然後,對樹網絡、結構化預測和多任務學習的發展前景進行了展望。
  • 【乾貨】深度學習、自然語言處理和表徵方法
    它們在許多計算機視覺任務中完爆之前的頂尖算法。在語音識別上也有這個趨勢了。雖然結果好,我們也必須思考……它們為什麼這麼好使?在這篇文章裡,我綜述一下在自然語言處理(NLP)上應用深度神經網絡得到的一些效果極其顯著的成果。我希望能提供一個能解釋為何深度神經網絡好用的理由。我認為這是個非常簡練而優美的視角。
  • 自然語言處理的十個發展趨勢
    本次大會的第一場分論壇討論是關於語言智能領域的八大問題。討論期間,哈爾濱工業大學劉挺教授對自然語言處理的發展趨勢做了一次精彩的歸納,他把這裡的趨勢分成了十個方面。哈爾濱工業大學教授劉挺趨勢1:語義表示——從符號表示到分布表示
  • 深度| 自然語言處理領域深度學習研究總結:從基本概念到前沿成果
    每隔幾周,加利福尼亞大學洛杉磯分校(UCLA)的 Adit Deshpande 就會在其博客上發表一篇深度解讀的深度學習研究回顧博客。今天這篇是 Adit 的這一系列的第三篇博客,將主要介紹深度學習在自然語言處理當中的應用。
  • 2019斯坦福CS224n深度學習自然語言處理筆記(1)Word2Vec與Glove
    )是自然語言處理領域很受歡迎的課程,由 Chris Manning 和 Richard Socher 主講。課程視頻、Pytorch實現代碼獲取方式:最新(2019)斯坦福CS224n深度學習自然語言處理課程(視頻+筆記+2017年合集)2019斯坦福CS224n深度學習自然語言處理筆記(1)——緒論與Word2Vec本文內容整理自2019年斯坦福CS224n深度學習自然語言處理課程,其筆記為本人聽課心得
  • 基於大數據與深度學習的自然語言對話
    首先指出,自然語言對話將是人們信息訪問的主要手段,信息檢索領域的主要研究範式。之後,定義自然語言對話任務,對相關技術進行分類,列舉主要技術挑戰。接著,詳細介紹如何構建基於數據的對話系統。最後,詳細介紹最新的基於深度學習的對話技術。當中也介紹深度學習在自然語言表示學習中的最新成果。