自然語言處理的最佳實踐

2021-01-17 手機鳳凰網

雷鋒網 AI 開發者按，近年來，自然語言處理（NLP）在質量和可用性方面快速增長，這有助於推動人工智慧解決方案的實際落地。在過去的幾年裡，研究人員一直在將新的深度學習方法應用於 NLP。數據科學家開始從傳統的方法轉向最先進的（SOTA）深度神經網絡（DNN）算法，這種算法使用的語言模型經過了大文本語料庫的預訓練。

此存儲庫包含構建 NLP 系統的示例和最佳實踐，在 jupyter notebook 和實用程序函數中提供。知識庫的重點是最先進的方法和常見的場景，這些方法和場景在研究文本和語言問題的研究人員和實踐者中很流行。

概述

該知識庫的目標是利用 NLP 算法、神經架構和分布式機器學習系統的最新進展構建一套綜合的工具和示例。其內容是基於我們過去和未來與客戶的接觸，以及與合作夥伴、研究人員和開源社區的合作。

我們希望這些工具能夠通過簡化從定義業務問題到開發解決方案的經驗，顯著減少「上市時間」。此外，示例 notebook 將作為指導方針，以各種語言展示工具的最佳實踐和用法。

在一個遷移學習、transformer 和深度架構的時代，我們相信預訓練模型為許多現實問題提供了統一的解決方案，並允許輕鬆處理不同的任務和語言。因此，我們將優先考慮這些模型，因為它們在幾個 NLP 基準上取得了最先進的結果。這些模型可用於多種應用，從簡單的文本分類到複雜的智能聊天機器人。

內容

下面是存儲庫中介紹的常用 NLP 場景的摘要。每個場景都在一個或多個使用模型和存儲庫實用程序核心代碼庫的 jupyter notebook 示例中演示。

在解決 NLP 問題時，從預構建的認知開始總是好的。當需求超出預構建認知的範圍時，當你想要搜索自定義機器學習方法時，你會發現此存儲庫非常有用。要開始使用，請導航到設置指南，其中列出了有關如何設置環境和依賴關係的說明。

馬上行動吧~

via：https://github.com/microsoft/nlp

相關焦點

  • 如何用深度學習做自然語言處理?這裡有份最佳實踐清單
    對於如何使用深度學習進行自然語言處理，本文作者 Sebastian Ruder 給出了一份詳細的最佳實踐清單，不僅包括與大多數 NLP 任務相關的最佳實踐，還有最常見任務的最佳實踐，尤其是分類、序列標註、自然語言生成和神經機器翻譯。作者對最佳實踐的選擇很嚴格，只有被證明在至少兩個獨立的群體中有益的實踐才會入選，並且每個最佳實踐作者至少給出兩個參引。
  • 實踐入門NLP:基於深度學習的自然語言處理
    特別是最近兩年，基於深度學習的自然語言處理逐漸取得了一定進展，在人機對話、問答系統、語言翻譯等方向的應用也一直是自然語言處理中的熱門話題，而這些應用的實現，基本依賴於底層技術和模型的進步，再加上自然語言處理領域也算是一個多學科交叉的行業，自然語言處理的未來發展對於很多相關學科和方向都具有深遠的影響力。
  • 自然語言處理必讀:5本平衡理論與實踐的書籍
    1.應用Python進行自然語言處理（Natural Language Processing with Python）本書由Steven Bird, Ewan Klein 和 Edward Loper編寫，你可以從Python系統的角度學習自然語言處理的實用基礎知識，更適合初學者。
  • 科普自然語言處理
    例如，漢語、英語、日語為自然語言的例子，這一種用法可見於自然語言處理一詞中。自然語言是人類交流和思維的主要工具。以上是百度百科對自然語言的釋義。語言是信息的載體，如同數字、文字、圖像、視頻等一樣，它們的目的都是為了記錄和傳播信息。
  • 自然語言處理深度學習的7個應用
    原文：7 Applications of Deep Learning for Natural Language Processing作者：Jason Brownlee翻譯：無阻我飛揚摘要：在這篇文章中，作者詳細介紹了自然語言處理深度學習的7種應用，以下是譯文。自然語言處理領域正在從統計方法轉變為神經網絡方法。
  • 想攻克自然語言處理?你需要這個武器
    但是，僅僅是到這一步，自然語言處理也已經走過了數不清的年頭，耗費了無數科學家的心血，未來更是大大的可期。>Google 今年發布了智慧語音助理Google Assistant，演示環節中機器人顧客對答如流，與理髮店店員的交互優雅又自然沒錯，我們與計算機之間的聯繫與交互正朝著前所未有的高度發展，而在這歷程之中——舞動著智能「魔法棒」的，則一定少不了——自然語言處理。
  • 自然語言處理的經驗主義和理性主義
    隨著移動網際網路時代的到來，自然語言處理在電子商務等領域的應用也日益成熟，產品推薦、客服機器人等應用場景已成為日常生活習以為常又不可缺少的一部分。面對基於數據統計和機器學習算法的自然語言處理取得的這些令人鼓舞的輝煌成績，有些學者的頭腦開始發熱起來，他們輕視自然語言處理中基於規則的方法，甚至貶低那些從事研究基於規則的自然語言處理的學者。
  • CCF NLPCC 2018 自然語言處理與中文計算國際會議
    CCF 自然語言處理與中文計算國際會議 (NLPCC) 是由中國計算機學會主辦的中文信息技術專業委員會年度學術會議，是專注於自然語言處理及中文計算領域的國際會議。去年，第六屆自然語言處理及中文計算大會（NLPCC 2017）在大連成功舉辦。為此，雷鋒網(公眾號：雷鋒網)AI科技評論曾採訪 CCF 中文信息技術專委會主任、微軟亞洲研究院副院長周明博士及 CCF 中文信息技術專委會秘書長、北京大學趙東巖研究員，了解了中國 NLP 研究及 NLPCC 大會的發展歷程及未來規劃。
  • 復旦大學黃萱菁:自然語言處理中的表示學習
    復旦大學黃萱菁帶來報告《自然語言處理中的表示學習》。黃萱菁，復旦大學計算機科學技術學院教授、博士生導師。1998年於復旦大學獲計算機理學博士學位，研究領域為人工智慧、自然語言處理、信息檢索和社會媒體分析。兼任中國中文信息學會常務理事，社會媒體專委會副主任，中國計算機學會中文信息技術專委會副主任。
  • 國內自然語言處理(NLP)研究組
    中國大陸地區：微軟亞研自然語言計算組 Natural Language Computing (NLC) Grouphttps://www.microsoft.com/en-us/research/group/natural-language-computing/www.microsoft.com百度自然語言處理百度自然語言處理 - 理解語言，擁有智能，改變世界
  • 中國的自然語言處理領域的人工智慧公司
    原來，它應用了最新的人工智慧自然語言處理技術。什麼是自然語言處理？自然語言處理的英文是Natural Language Processing，一般被簡寫為NLP，它實際上包括了三個方面：語音識別、自然語言理解與語音合成（有一些人把語音識別作為自然語言處理之外的技術，在本文中，我們將語音識別也包含在自然語言處理的技術範疇之內）。
  • 人工智慧難點之——自然語言處理(NLP)
    （人工智慧主要包含以下幾個方面： 自動推理-計算語言學-計算機視覺-進化計算-專家系統-自然語言處理-機器人學）自然語言處理（NLP）是資訊時代最重要的技術之一。理解複雜的語言也是人工智慧的重要組成部分。NLP的應用無處不在，因為人們用語言進行大部分溝通：網絡搜索，廣告，電子郵件，客戶服務，語言翻譯，發布學報告等等。
  • 2018機器學習最大進展:炒作和恐懼情緒回歸理性 自然語言處理奪得...
    2018機器學習最大進展：炒作和恐懼情緒回歸理性 自然語言處理奪得大滿貫  olivia chan • 2019-01-16 11:36:11　來源：前瞻網　E1306G0
  • 深耕自然語言處理近30年 王海峰獲光華工程科技獎
    百度CTO王海峰因其在人工智慧領域、尤其是自然語言處理領域的卓越貢獻，成為AI產業界首位獲此殊榮的科技工作者。光華工程科技獎由中國工程院主管，每兩年頒發一次。王海峰在人工智慧領域深耕近三十年，致力於技術創新和產業化，尤其在自然語言處理領域成果卓著，是我國在科學研究和產業應用方面均做出重要貢獻的知名專家，在國內外學界和工業界均享有盛譽。
  • 自然語言處理 NLP 發展簡史
    但 IBM 旗下的 Fortran 表處理語言卻未能支持符號運算的遞歸、條件表達式、動態存儲分配及隱式回收等功能。於是麥卡錫帶領由 MIT 學生組成的團隊開發了一門全新的表處理語言 LISP，賦予了程式語言更強的數學計算能力。LISP 語言後來也被稱為人工智慧的「母語」，成為早期人工智慧研究人員的程式語言。
  • 翻譯機器人可「領會」使用意圖 河南首個自然語言處理實驗室發布新...
    驚人的口才和語言自主學習能力讓全世界所折服，儼然成為人工智慧領域中的網紅。 　　當然，伴隨著Sophia的走紅，自然語言處理這一人工智慧領域中的分支課題也逐漸走進人們的視野，成為近年來人工智慧領域中最火熱的研究課題。自然語言處理簡稱「NLP」， 它是以實現人與計算機之間用自然語言進行有效通信的各種理論和方法為主要研究對象。
  • 12 種自然語言處理的開源工具
    Python 工具自然語言工具包（NLTK）毋庸置疑， 自然語言工具包（NLTK） 是我調研過的所有工具中功能最完善的一個。它幾乎實現了自然語言處理中多數功能組件，比如分類、令牌化、詞幹化、標註、分詞和語義推理。每一個都有多種不同的實現方式，所以你可以選擇具體的算法和方式。同時，它也支持不同的語言。
  • 最大熵方法及其在自然語言處理中的應用研究
    要想切實的減少人機交流過程中的阻礙，需要在編製程中加強計算機設備對於自然語言的多重性領會，可以領悟到自然語言本身所具有的思想意識。上述兩種階段，前一種被稱作是自然語言理解，後一種責備稱作為自然語言生成。自然語言的處理總體上包含著自然語言的領會以及語言意識生成兩種環節，在過去的幾年中，研究人員對於自然語言的研究頻率較為廣泛，但是自然語言的生成探索程度較為薄弱，此種情況正在隨著探究而發生轉變。
  • 自然語言處理學術會議AACL線上召開 聚焦亞太地區NLP技術進展
    同時，按照ACL年會慣例，此次亞太分會年會與第十屆國際自然語言處理聯席會議（International Joint Conference on Natural Language Processing, IJCNLP）聯合召開。會議匯集來自學界、業界的百餘位自然語言處理領域的專家大咖，圍繞語義表示與理解、知識圖譜、對話系統、信息抽取與文本挖掘、機器翻譯等前沿技術方向進行了深入交流與探討。
  • 用於自然語言處理的4個業務應用
    至頂網CIO與應用頻道 12月18日 編譯：你可能還沒有意識到，自然語言處理（NLP）對於企業來說已經不僅僅是一種新興的技術，它還是一種每天都在廣泛使用的技術。在線搜索、拼寫檢查——機會所有涉及語言的功能都包含自然語言處理算法。自然語言處理算法會教導計算機像人一樣使用語言。如果你從一組文檔中手動搜索信息的話，你可以查看關鍵字，就像是搜尋引擎一樣。