「乾貨」NLP中的遷移學習教程來啦!(238頁PPT下載)

2020-12-05 新智元

新智元報導

來源：google

編輯：張佳

【新智元導讀】近日，在美國明尼蘇達州明尼阿波利斯的NAACL2019上，Sebastian Ruder, Matthew Peters, Swabha Swayamdipta和Thomas Wolf分享了一個長達238頁PPT關於「NLP中的遷移學習」的教程，今天拿來和大家分享。

經典的監督機器學習範式是基於對使用單個數據集的任務的單個預測模型的孤立學習。這種方法需要大量的訓練示例，並且對於定義明確、範圍狹窄的任務效果最好。遷移學習指的是一組方法，這些方法通過利用來自其他域或任務的數據來訓練具有更好泛化特性的模型來擴展此方法。

近兩年來，自然語言處理（NLP）領域出現了幾種轉移學習方法和體系結構，這些方法和體系結構大大提高了NLP任務的先進性。

這些改進，加上這些方法的廣泛可用性和易集成性，使人們想起了導致計算機視覺中預訓練字嵌入和ImageNet預訓練成功的因素，並表明這些方法很可能成為NLP中的一種常用工具以及一個重要的研究方向。

我們將概述NLP中的現代遷移學習方法，如何對模型進行預培訓，它們所學習的表示捕獲哪些信息，並回顧有關如何在下遊NLP任務中集成和適應這些模型的示例和案例研究。

什麼是遷移學習？

(a)傳統機器學習的學習過程：

任務1：學習系統

任務2：學習系統

任務3：學習系統

(b)遷移學習的學習過程：

源任務：知識

目標任務：學習系統

為什麼是NLP遷移學習？

許多NLP任務都有共同的語言知識（例如語言表示、結構相似性）任務可以互相通知，例如語法和語義注釋數據很少，儘可能多地利用監督從經驗上講，遷移學習已經在SOTA形成了許多被監督的NLP任務（例如分類、信息提取、問答等）

為什麼是NLP遷移學習？（憑經驗）

在命名實體識別（NER）CONLL-2003（英語）上隨著時間推移的表現

NLP中遷移學習的類型

本教程到底講什麼？

本教程講的是什麼，不講的是什麼：

目標：提供NLP中遷移方法的廣泛概述，重點介紹截至目前（2019年年中）最成功的經驗方法。提供實用的、實際操作的建議→在教程結束時，每個人都有能力將最新進展應用到文本分類任務中。不講的是什麼：全面的（不可能在一個教程中涵蓋所有相關的論文！）（Bender Rule: 本教程主要是針對用英語完成的工作，其他語言的可擴展性取決於監督是否可用。）

框架：

1、介紹

2、預訓練

3、代表中有什麼？

4、適應

5、下遊

6、開放問題

順序遷移學習

了解一個任務/數據集，然後遷移到另一個任務/數據集

預訓練：

word2vec

GloVe

skip-thought

InferSent

ELMo

ULMFiT

GPT

BERT

適應：

分類

序列標記

問答

預培訓任務和數據集

未標記數據和自我監督：

易於收集的大型語料庫：維基百科、新聞、網絡爬蟲、社交媒體等。訓練利用了分布假設：「你應該知道它所保存的一個詞」（Firth，1957），通常形式化為訓練某種語言模型的變體。注重高效算法利用豐富的數據監督預培訓：

在視覺上非常常見，由於缺乏大的監控數據集，在NLP中較少見。機器翻譯句子表達的NLI從一個問答數據集到另一個問答數據集的任務特定傳輸

目標任務和數據集

目標任務通常是受監控的，跨越一系列常見的NLP任務：

句子或文檔分類（如情感）句子對分類（如NLI、釋義）字級（例如序列標記、提取性問答）結構化預測（如解析）生成（例如對話、總結）

具體示例——詞向量

單詞嵌入方法（例如word2vec）每個單詞學習一個向量

主題：從單詞到語境中的單詞

主題：從單詞到語境中的單詞

詞向量 句子/doc向量 語境中詞向量

主題：LM預訓練

許多成功的預培訓方法都是基於語言建模的非正式地，LM學習p（文本）或p（文本/其他文本）不需要人工注釋許多語言有足夠的文本來學習大容量模型多才多藝，能學習句子和詞的表達，具有多種客觀功能

主題：由淺入深

1層 24層

主題：預培訓與目標任務

預培訓和目標任務的選擇是耦合的

句子/文檔表示法對單詞級預測無效詞向量可以跨上下文匯集，但通常比其他方法更好。在語境詞向量中，雙向語境很重要一般來說：

類似的預培訓和目標任務→最佳結果

PPT地址：

https://techxplore.com/news/2019-05-framework-deep-neural-networks.html

GitHub:

https://github.com/huggingface/naacl_transfer_learning_tutorial

相關焦點

  • 「EMNLP2018乾貨」為NLP研究寫出好代碼(254頁教程)
    通過本教程，你將學習如何編寫NLP研究實驗代碼，如何設計和簡單化實驗代碼，從而推進研究，產出好的研究成果。現代的NLP研究工作都需要編寫代碼。良好的代碼可以實現快速的原型設計，簡單的代碼調試，實驗的可控性和可視化，幫助研究人員快速準確地了解實驗和模型的具體情況。
  • NLP領域中的遷移學習現狀
    教程「NLP領域的遷移學習」，這個教程是由Matthew Peters、Swabha Swayamdipta、Thomas Wolf和我組織策劃的。圖1一、內容簡介我們在這篇文章中的對遷移學習的主要定義如圖所示，遷移學習是一種從源設置中提取信息並將其應用於不同設定目標的方法
  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    -時空數據挖掘深度學習技術全面綜述NeurIPS2020 | Google《圖學習與挖掘》綜述教程，311頁ppt+教程NeurIPS2020 | 圖對比學習 | 結合四種數據擴充方式進行對比學習(附論文代碼連結)NeurIPS2020 | 四篇圖魯棒性研究相關論文一覽方法總結 | 兩篇論文分析解耦/分離/Disentangled/圖神經網絡表示學習
  • 「最新乾貨教程」2020免費下載高權限web of science、PubMed文獻
    如何免費下載web of science、PubMed、Wiley等論文期刊，最新教程，請查收~ISI Web of Science 是全球最大、覆蓋學科最多的綜合性學術信息資源，收錄了自然科學、工程技術、生物醫學等各個研究領域最具影響力的超過
  • NLP 新手必看!這是一份覆蓋全面的基於 PyTorch 和 keras 的 NLP...
    相信在人工智慧領域，沒有人不知道這三位，眾所周知，他們被稱為「深度學習三巨頭」。作為人工智慧領域「皇冠上的明珠」，NLP 技術在經歷了過去幾年的發展之後，證明了它落地的可行性，因此目前也是相當火爆。想必同學們也會經常在網上找一些好的學習資源。最近，小編在 github 上發現了一份基於 PyTorch 和 keras 的 NLP 學習教程。
  • 乾貨 | 請收下這份2018學習清單:150個最好的機器學習,NLP和Python教程
    一般我會找一個有意思的教程或者視頻，再由此找到三四個，甚至更多的教程或者視頻。猛回頭，發現標收藏夾又多了20個資源待我學習（推薦提升效率工具Tab Bundler）。 深度學習教程 (Quoc V. 基於深度學習的NLP(Richard Socher)https://nlp.stanford.edu/courses/NAACL2013/NAACL2013-Socher-Manning-DeepLearning.pdf 理解卷積神經網絡在NLP中的應用(wildml.com)http://www.wildml.com
  • 2019 年 NLP 領域都發生了哪些大事件?
    另一個相關的工作《DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation》，用到了一種叫做「DialogueGCN」的圖神經網絡方法來檢測對話中的情感。
  • PPT教程:手把手教你高逼格的PPT動畫
    原標題：PPT教程：手把手教你高逼格的PPT動畫 今天河南中公優就業IT培訓小編給大家分享的是一個比賽用的PPT，為了說明水浮蓮（水葫蘆）對水域的汙染十分嚴重，其中一頁PPT裡展示了一組數據
  • 使用PyTorch進行主動遷移學習:讓模型預測自身的錯誤
    模型預測標籤為「a」、「B」、「C」或「D」，單獨的數據集標籤為「W」、「X」、「Y」和「Z」。再訓練模型的最後一層模型現在能夠預測標籤「W」、「X」、「Y」和「Z」。遷移學習的最大優點是，與從頭開始訓練一個模型相比，你需要更少的人工標記的示例，這意味著你可以用更少的數據獲得更高精度的模型。
  • 你生日那天的宇宙是什麼樣子怎麼查 NASA官網查看教程來啦,請注意...
    你生日那天的宇宙是什麼樣子怎麼查 NASA官網查看教程來啦，請注意查收！時間：2020-03-31 15:28   來源：騰牛網    責任編輯：沫朵 川北在線核心提示：原標題：你生日那天的宇宙是什麼樣子怎麼查 NASA官網查看教程來啦，請注意查收！
  • 乾貨| 請收下這份2018學習清單:150個最好的機器學習,NLP和Python...
    一般我會找一個有意思的教程或者視頻，再由此找到三四個，甚至更多的教程或者視頻。猛回頭，發現標收藏夾又多了20個資源待我學習（推薦提升效率工具Tab Bundler）。深度學習教程 (Quoc V.深度學習在NLP中的應用(Pytorch實現) (pytorich.org)http://pytorch.org/tutorials/beginner/deep_learning_nlp_tutorial.html 3、詞向量（Word Vectors）詞袋法遇到感知器裝袋法(kaggle.com)
  • ...請收下這份2018學習清單:150個最好的機器學習,NLP和Python教程
    一般我會找一個有意思的教程或者視頻，再由此找到三四個，甚至更多的教程或者視頻。猛回頭，發現標收藏夾又多了20個資源待我學習（推薦提升效率工具Tab Bundler）。http://nikhilbuduma.com/2014/12/29/deep-learning-in-a-nutshell/深度學習教程 (Quoc V.
  • 181個NLP教程合集,Colab一鍵直達,無需環境配置,此外還有481個文本...
    有了算力，還差教程，現在NLP學習合集大全套來了。△超強NLP合集網站名直譯過來就是——超強NLP合集！181個超全資源合集，各個類型全都有，總有一款適合你。△資源概覽資源怎麼使用？光說不練假把式，既然是資源，就是讓人用的，滿滿乾貨，無套路。使用資源只需要三步：1、打開網站，選擇、搜索自己感興趣的內容，比如搜索NLP領域最火的BERT。△網站地址見文末2、可以按描述內容選擇自己感興趣的模型，打開最後一列的Colab連結。
  • 一文概述 2018 年深度學習 NLP 十大創新思路
    這份清單包含主要與遷移學習相關的想法及其概述，不過也必然會帶有一定的主觀性。其中的大部分（一些例外）並不是一種趨勢（但我預測其中的一些想法在 2019 年會變得更具趨勢性）。最後，我希望在評論區中看到你的精彩評論或者其他領域的精彩文章。
  • 《機器學習基礎》來了,教材PDF、PPT可下載
    今天，一本名為Foundations of Machine Learning（《機器學習基礎》）的課在Reddit上熱度飆升至300，裡面可謂內容豐富。不僅有500多頁的課程PDF可以下載，並且還有13章的PPT也可以獲取。
  • C4D三維標誌溶解破碎粒子特效教程Dissolve Effect Using PolyFX and MoGraph
    ↑↑↑伸出手指點上方「藍字」這裡為不在茫茫人海中失聯，請設「星標 ★」哦點擊左上方藍字「書生說」進入公眾號首頁再點擊右上角「...」→點擊「設為星標」小夥伴們注意：公眾號的推送機制不再按照時間前後推送了，所以，有的朋友可能看不到文章，大家只要把公眾號置頂（設為星標★），它會優先推薦，就不會錯過書生分享的實用乾貨了。
  • 【超全資源】自然語言處理(NLP)入門學習資源清單(部分資料下載)
    v=nfoudtpBV68&list=PL6397E4B26D00A269 •  斯坦福CS224d：自然語言處理的深度學習[更高級的機器學習算法、深度學習和NLP的神經網絡架構]http://cs224d.stanford.edu/syllabus.html •  Coursera：自然語言處理簡介[由密西根大學提供的NLP
  • 深度學習在NLP中的運用?從分詞、詞性到機器翻譯、對話系統
    自然語言是人類知識的抽象濃縮表示，而自然語言理解是人工智慧研究領域中極具挑戰的一個分支。上次，《自然語言處理在 2017 年有哪些值得期待的發展？》中，我們已經講到，2016 年是深度學習大潮衝擊 NLP 的一年，通過去年一年的努力，深度學習在 NLP 領域已經站穩了腳跟。
  • XRD與Jade學習資料合集,教程/乾貨/視頻免費分享!
    為幫助各位小夥伴快速get這些技能，小編搜遍全網，傾心整理了這份XRD乾貨合集，結合Jade分析資料，助你快速成為XRD大神。Jade學習資料全網最全，沒有之一！【共113份資料】XRD系列分析教程15份【國外某大學經典版】超級乾貨丨MDI-Jade最新最完整XRD分析教程MDI Jade分析XRD數據基本過程MDI Jade 使用說明
  • CMU 2020年「神經網絡NLP」課程開課啦
    近日，CMU 2020年「神經網絡 NLP」課程開課啦！對正在學習自然語言處理的同學們來說，這是一份不可多得的好資源。每一節將介紹自然語言中的一個特殊問題或現象，描述建模的難點，並演示幾種用來解決這個問題的模型。該課程將涵蓋在創建神經網絡模型中各種有用的技術，包括處理大小不一的結構化句子、高效處理大數據、半監督和無監督學習、結構化預測和多語言建模。