【復旦大學】最新《預訓練語言模型》2020綜述論文大全,50+PTMs分類體系,25頁pdf205篇參考文獻

來源 | 專知

【導讀】預訓練語言模型Pre-trained Models是當前自然語言處理以及其他應用的研究熱點，在眾多任務中取得SOTA性能。近日，復旦大學邱錫鵬等學者發布了自然語言處理處理中預訓練模型PTMs的綜述大全，共25頁pdf205篇參考文獻，從背景知識到當前代表性PTM模型和應用研究挑戰等，是絕好的預訓練語言模型的文獻。

近年來，預訓練模型(PTMs)的出現將自然語言處理(NLP)帶入了一個新的時代。在這項綜述中，我們提供了一個全面的PTMs調研。首先簡要介紹了語言表示學習及其研究進展。然後，我們根據四種觀點對現有的PTMs進行了系統的分類。接下來，我們將描述如何將PTMs的知識應用於下遊任務。最後，我們概述了未來PTMs研究的一些潛在方向。本調查旨在為理解、使用和開發各種NLP任務的PTMs提供實際指導。

地址：

https://www.zhuanzhi.ai/paper/09d78eda59ebfb6f51a54a3ba0a4c4b1

1. 概述

隨著深度學習的發展，各種神經網絡被廣泛用於解決自然語言處理(NLP)任務，如卷積神經網絡(convolutional neural networks, CNNs)[75,80,45]、遞歸神經網絡(neural networks, RNNs)[160, 100]、基於圖的神經網絡(graphbased neural network, GNNs)[146, 161, 111]和注意力機制[6,171]等。這些神經模型的優點之一是能夠緩解特徵工程問題。非神經NLP方法通常嚴重依賴於離散的手工特徵，而神經方法通常使用低維和稠密的向量(又稱分布式表示)隱式地表示語言的語法或語義特徵。這些表示是在特定的NLP任務中學習的。因此，神經方法使人們可以很容易地開發各種NLP系統。

儘管神經模型在NLP任務中取得了成功，但與計算機視覺(CV)領域相比，性能改進可能不那麼顯著。主要原因是，當前用於大多數監督的NLP任務的數據集相當小(機器翻譯除外)。深度神經網絡通常具有大量的參數，使其對這些小的訓練數據過度擬合，在實際應用中泛化效果不佳。因此，許多NLP任務的早期神經模型相對較淺，通常只包含1 ~ 3個神經層。

最近大量的工作表明，在大型語料庫上的預訓練模型(PTMs)可以學習通用語言表示，這對後續的NLP任務是有益的，可以避免從零開始訓練新模型。隨著計算能力的發展，深層模型(即隨著訓練技能的不斷提高，PTMs的體系結構由淺向深推進。第一代PTM的目標是學習好的詞嵌入。由於下遊任務不再需要這些模型本身，它們在計算效率方面通常非常膚淺，如Skip-Gram[116]和GloVe[120]。雖然這些預訓練的嵌入可以捕獲單詞的語義含義，但它們是上下文無關的，不能捕獲文本的高級概念，如語法結構、語義角色、回指等。第二代PTMs主要學習上下文詞嵌入，如CoVe[113]、ELMo[122]、OpenAI GPT[130]、BERT[32]等。這些學習過的編碼器仍然需要在上下文中通過下遊任務來表示單詞。此外，還提出了各種預訓練的任務，以學習PTMs的不同目的。

這篇綜述的貢獻可以總結如下:

1. 全面調研。我們為NLP提供了PTMs的全面回顧，包括背景知識、模型架構、預訓練任務、各種擴展、適應方法和應用。給出了典型模型的詳細描述，進行了必要的比較，總結了相應的算法。

2. 新分類法。我們提出了一種基於自然語言處理的PTMs分類方法，該方法從四個不同的角度對現有的PTMs進行了分類:1)單詞表示的類型;2) PTMs架構;3)培訓前的任務類型;4)特定類型場景或輸入的擴展。

3.資源豐富。我們在PTMs上收集了豐富的資源，包括開源系統、論文列表等。

4. 未來的發展方向。我們討論並分析了現有PTMs的局限性。並提出未來可能的研究方向。

綜述的其餘部分組織如下。第2節概述了PTMs的背景概念和常用符號。第3節簡要概述了PTMs，並澄清了PTMs的分類。第4節提供了PTMs的擴展。第5節討論如何將PTMs的知識遷移到下遊任務。第6節給出了PTMs的相關資源，包括開源系統、論文列表等。第7節介紹了跨各種NLP任務的應用程式集合。第8節討論了當前的挑戰並提出了未來的方向。第9節對本文進行了總結。

2. 背景

2.1 語言表示學習

分布式表示的核心思想是用低維實值向量來描述文本的意義。而向量的每一個維度都沒有對應的意義，而整體則代表一個具體的概念。圖1說明了NLP的通用神經體系結構。詞嵌入有兩種:非上下文嵌入和上下文嵌入。它們之間的區別是，一個詞的嵌入是否根據它出現的上下文動態變化。

2.2 神經上下文編碼器

大部分的神經上下文編碼器可以分為三類:卷積模型、序列模型和基於圖的模型。圖2說明了這些模型的體系結構。

(1) 卷積模型。卷積模型採用單詞在輸入句中的嵌入，通過卷積運算將相鄰詞的局部信息聚合起來，從而獲取單詞的意義[80]。卷積模型通常易於訓練，能夠捕獲局部上下文信息。

(2 )序列模型。序列模型通常採用rns(如LSTM[60]和GRU[21])來捕獲單詞的上下文表示。在實踐中，雙向RNNs被用來收集單詞兩邊的信息，但其性能往往受到長期依賴問題的影響。

(3) 基於圖模型。與上述模型不同的是，基於圖的模型以單詞為節點，學習單詞之間具有預定義語言結構的上下文表示，如句法結構[146,161]或語義關係[111]。

2.3 為什麼要預訓練？

隨著深度學習的發展，模型參數的數量迅速增加。需要更大的數據集來充分訓練模型參數並防止過度擬合。然而，對於大多數NLP任務來說，構建大規模的標記數據集是一個巨大的挑戰，因為注釋成本非常昂貴，特別是對於語法和語義相關的任務。

相比之下，大規模的未標記語料庫相對容易構建。為了利用巨大的未標記文本數據，我們可以首先從它們那裡學習良好的表示，然後將這些表示用於其他任務。最近的研究表明，藉助從大型無注釋語料庫的PTMs中提取的表示，許多NLP任務的性能都有顯著提高。

預訓練的好處可以總結如下:

在大型文本語料庫上的預訓練可以學習通用語言表示並幫助完成後續任務。

預訓練提供了更好的模型初始化，這通常會帶來更好的泛化性能，並加速對目標任務的收斂。

預訓練可以看作是一種正則化，以避免小數據[39]的過擬合。

3. 預訓練語言模型分類

為了明確現有PTMs與NLP之間的關係，我們構建了PTMs的分類法，該分類法從不同的角度對現有PTMs進行了分類: (1) PTMs使用的單詞表示類型，(2) PTMs使用的主幹網絡，(3) PTMs使用的預訓練任務類型，(4) 為特定類型的場景或輸入設計的PTMs。圖6顯示了分類以及一些相應的代表性PTMs。

此外，表1詳細區分了一些有代表性的PTMs。

4. 預訓練語言模型擴展

4.1 知識增強的PTMs

PTMs通常從通用的大型文本語料庫中學習通用語言表示，但缺乏領域特定的知識。將來自外部知識庫的領域知識整合到PTM中已被證明是有效的。外部知識範圍從語言學[87,78,123,178]，語義[92]，常識[48]，事實[199,123,101,188,182]，到具體領域的知識[54]。

4.2 多模態PTMS

由於PTMs在許多NLP任務上的成功，一些研究集中在獲得PTMs的跨模態版本上。這些模型中的絕大多數是為一般的視覺和語言特徵編碼而設計的。這些模型是在一些巨大的跨模態數據語料庫上進行預訓練的，例如帶有口語單詞的視頻或帶有字幕的圖像，結合擴展的預訓練任務來充分利用多模態特徵。VideoBERT[152]和CBT[151]是視頻和文本的聯合模型。為了獲得用於預訓練的視覺和語言標記序列，視頻分別由基於cnn的編碼器和現成的語音識別技術進行預處理。在處理後的數據上訓練一個變壓器編碼器，以學習下遊任務(如視頻字幕)的視覺語言表示。此外，UniViLM[109]提出引入生成任務來進一步預訓練下遊任務中使用的解碼器。

4.3 模型壓縮

5. 下遊任務應用

6. PTM資源

7. 應用

應用基準、機器翻譯、問答、情感分析、摘要、命名實體識別

8. 未來方向

(1) PTMs的上界

目前，PTMs還沒有達到其上限。現有的PTMs大多可以通過更多的訓練步驟和更大的語料庫來進一步完善。

通過增加模型的深度可以進一步提高NLP的技術水平，如Megatron-LM[144](83億個參數，72個隱藏尺寸為3072和32個注意頭的變壓器層)和Turing-NLG(170億個參數，78個隱藏尺寸為4256和28個注意頭的Transformer層)。

通用型PTM一直是我們學習語言固有的通用知識(甚至是世界知識)的追求，但此類PTM通常需要更深入的體系結構、更大的語料庫和更具挑戰性的訓練前任務，這又進一步導致了更高的訓練成本。然而，訓練大模型也是一個具有挑戰性的問題，需要更複雜、更高效的訓練技術，如分布式訓練、混合精度、梯度積累等。因此，更實際的方向是使用現有的硬體和軟體設計更有效的模型架構、自我監督的訓練前任務、優化器和訓練技能。ELECTRA[22]是這個方向的一個很好的解決方案。

(2) 面向任務的預訓練和模型壓縮

在實踐中，不同的下遊任務需要不同的PTMs能力。PTMs與下遊任務之間的差異通常表現在兩個方面:模型體系結構和數據分布。較大的差異可能導致PTMs的益處可能不明顯。儘管較大的PTM通常可以帶來更好的性能，但一個實際問題是如何在特殊場景(如低容量設備和低延遲應用程式)中利用這些巨大的PTM。因此，我們可以為下遊任務精心設計特定的模型架構和預訓練任務，或者從現有的PTMs中提取部分特定於任務的知識。

此外，我們可以通過使用模型壓縮等技術，用通用的現有PTM來教他們，而不是從頭開始訓練面向任務的ptm(參見4.3節)。雖然在CV[17]中，針對CNNs的模型壓縮已經得到了廣泛的研究，但針對NLP的PTMs的模型壓縮才剛剛開始。Transformer 的全連接結構也使模型壓縮更具挑戰性。

(3) PTMs架構

Transformer已被證明是一種有效的預訓練體系結構。然而，Transformer 的主要限制是它的計算複雜度，它是輸入長度的平方。由於GPU內存的限制，目前大多數PTM不能處理512個標記以上的序列。打破這一限制需要改進Transformer的架構，比如Transformer- xl[27]。因此，為PTMs搜索更有效的模型體系結構對於捕獲更長期的上下文信息非常重要。

深度架構的設計具有挑戰性，我們可以從一些自動化方法中尋求幫助，如神經架構搜索(neural architecture search, NAS)[205]。

(4)超越微調的知識遷移

目前，將PTMs的知識傳遞給下遊任務的主要方法是微調，但其缺點是參數效率低下:每個下遊任務都有自己的微調參數。一種改進的解決方案是對原有PTMs的參數進行修正，並為特定的任務添加小的可調自適應模塊[149,61]。因此，我們可以使用一個共享的PTM來服務多個下遊任務。事實上，從PTMs中挖掘知識可以更加靈活，如特徵提取、知識提取[195]、數據擴充[185,84]，利用PTMs作為外部知識[125]等。期望有更有效的方法。

(5) PTMs的可解釋性和可靠性

雖然PTM的性能令人印象深刻，但其深層的非線性架構使得決策過程高度不透明。

近年來，可解釋人工智慧[4]已經成為人工智慧領域的一個研究熱點。與用於圖像的CNN不同，由於Transformer的架構和語言的複雜性，解釋PTMs更加困難。人們做了大量的工作(見3.3節)來分析PTMs中包含的語言和世界知識，這有助於我們以某種程度的透明性理解這些PMTs。然而，許多模型分析工作依賴於注意力機制，注意力對可解釋性的有效性仍存在爭議[66,142]。

此外，隨著PTMs在生產系統中的廣泛應用，PTMs的可靠性也成為一個備受關注的問題。深層神經模型容易受到對抗性樣本的影響，這些例子可能會誤導模型，使其產生一個特定的錯誤預測，而這種預測會受到來自原始輸入的難以察覺的幹擾。在CV中，對抗性攻擊和防禦被廣泛研究。然而，由於語言的離散性，文本仍然面臨著挑戰。為文本生成對抗性樣本需要具備以下品質:(1)不易被人類法官察覺，但容易被神經模型誤導;(2)語法流利，語義與原輸入一致。Jin等人[71]用對抗性的例子成功地在文本分類和文本蘊涵方面攻擊了經過微調的BERT。Wallace等人[175]定義了通用的對抗觸發器，當將模型連接到任何輸入時，該觸發器可以誘導模型產生特定目的的預測。有些觸發器甚至會導致GPT-2模型生成帶有種族主義色彩的文本。對PTM進行對抗性攻擊的研究有助於我們了解它們的能力，從而充分暴露它們的弱點。Sun等人[155]的研究表明，BERT對拼寫錯誤並不敏感。此外，針對PTMs的對抗防禦也很有前途，它提高了PTMs的魯棒性，使其對對抗攻擊免疫。

總的來說，作為許多NLP應用中的關鍵組件，PTMs的可解釋性和可靠性在很多方面還有待進一步的探索，這有助於我們理解PTMs是如何工作的，並為更好的使用和進一步的改進提供指導。

參考文獻：

Akbik et al. [2018] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In COLING, pages 1638–1649, 2018.

Alberti et al. [2019] Chris Alberti, Jeffrey Ling, Michael Collins, and David Reitter. Fusion of detected objects in text for visual question answering. In EMNLP-IJCNLP, pages 2131–2140, 2019.

Alsentzer et al. [2019] Emily Alsentzer, John R. Murphy, Willie Boag, Wei-Hung Weng, Di Jin, Tristan Naumann, and Matthew B. A. McDermott. Publicly available clinical BERT embeddings. arXiv preprint arXiv:1904.03323, 2019.

Arrieta et al. [2020] Alejandro Barredo Arrieta, Natalia Díaz-Rodríguez, Javier Del Ser, Adrien Bennetot, Siham Tabik, Alberto Barbado, Salvador García, Sergio Gil-López, Daniel Molina, Richard Benjamins, et al. Explainable artificial intelligence (xai): Concepts, taxonomies, opportunities and challenges toward responsible ai. Information Fusion, 58:82–115, 2020.

Baevski et al. [2019] Alexei Baevski, Sergey Edunov, Yinhan Liu, Luke Zettlemoyer, and Michael Auli.Cloze-driven pretraining of self-attention networks. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, EMNLP-IJCNLP, pages 5359–5368, 2019.

重磅！憶臻自然語言處理-學術微信交流群已成立

可以掃描下方二維碼，小助手將會邀請您入群交流，

注意：請大家添加時修改備註為 [學校/公司 + 姓名 + 方向]

例如 —— 哈工大+張三+對話系統。

號主，微商請自覺繞道。謝謝！

推薦閱讀：

全連接的圖卷積網絡(GCN)和self-attention這些機制的區別與聯繫

圖卷積網絡(GCN)新手村完全指南

論文賞析[ACL18]基於Self-Attentive的成分句法分析