今天，百度 ERNIE 再升級，發布持續學習語義理解框架 ERNIE 2.0，同時藉助飛槳高效分布式訓練優勢發布了基於此框架的 ERNIE 2.0 預訓練模型。該模型在共計 16 個中英文任務上超越了 BERT 和 XLNet，取得了 SOTA 效果。
近兩年，以 BERT、XLNet 為代表的無監督預訓練技術在多個自然語言處理任務上取得了技術突破。基於大規模數據的無監督預訓練技術在自然語言處理領域變得至關重要。
百度發現，之前的工作主要通過詞或句子的共現信號，構建語言模型任務進行模型預訓練。例如，BERT 通過掩碼語言模型和下一句預測任務進行預訓練。XLNet 構建了全排列的語言模型，並通過自回歸的方式進行預訓練。
然而，除了語言共現信息之外，語料中還包含詞法、語法、語義等更多有價值的信息。例如，人名、地名、機構名等詞語概念知識，句子間順序和距離關係等結構知識，文本語義相似度和語言邏輯關係等語義知識。那麼如果持續地學習各類任務，模型的效果能否進一步提升？這就是 ERNIE 2.0 希望探索的。
ERNIE 2.0 新一代升級
之前機器之心就曾介紹過百度開源的 ERNIE 1.0，今天百度也開源了 ERNIE 2.0 的 Fine-tuning 代碼和英文預訓練模型。那麼相比 1.0，ERNIE 2.0 的升級包括哪些方面呢？
github ERNIE 2.0 開源地址：PaddlePaddle/ERNIE具體而言：
BERT、XLNet 等主流方法都強調通過強力的 Transformer 直接構建語言模型，而 ERNIE 2.0 通過多任務預訓練的方法加強模型學到的語言知識。ERNIE 2.0 通過增量學習的方式更新，也就是說可以通過自定義的 NLP 任務微調已訓練模型，加強預訓練效果。ERNIE 2.0 模型在英語任務上很多都優於 BERT 和 XLNet，在 7 個 GLUE 任務上取得了最好的結果；中文任務上，ERNIE 2.0 模型在所有 9 個中文 NLP 任務上全面優於 BERT。當然這只是更新主要體現的方面，還有很多核心思想、調優技巧都隱藏在模型中。下面就讓我們看看 ERNIE 2.0 的主要思想及具體結構都是什麼樣的吧。
ERNIE 2.0 是什麼
如前所述，文本中還有很多非常有價值的信息，為此百度提出持續學習語義理解框架 ERNIE 2.0。該框架支持增量引入不同角度的自定義預訓練任務，以捕捉語料中詞法、語法、語義等信息。這些任務通過多任務學習對模型進行訓練更新，每當引入新任務時，該框架可在學習該任務的同時，不遺忘之前學到過的信息。
ERNIE 2.0 論文地址：https://arxiv.org/pdf/1907.12412v1.pdfERNIE 框架支持隨時引入各種自定義任務，這些任務共享相同的編碼網絡並通過多任務學習實現訓練。這種多任務學習的方法使得不同任務中詞彙、句法和語義信息的編碼能共同學習。此外，當我們給出新的任務時，ERNIE 2.0 框架可以根據先前預訓練的權重增量地學習分布式表徵。
如下原論文圖 1 所示，ERNIE 2.0 框架是基於預訓練/微調架構構建的，這種架構在 NLP 中非常流行。ERNIE 2.0 與 BERT 或 XLNet 等經典預訓練方法的不同之處在於，它並不是在少量的預訓練任務上完成的，而是通過不斷引入大量預訓練任務，從而幫助模型高效地學習詞彙、句法和語義表徵。
此外重要的是，ERNIE 2.0 框架能通過多任務學習持續更新預訓練模型，這也就是「連續預訓練」的含義。在每一次微調中，ERNIE 會首先初始化已經預訓練的權重，然後再使用具體任務的數據微調模型。
圖 1：ERNIE 2.0 框架，如上所示 ERNIE 2.0 可以序列地學習不同的任務，並通過微調適應各種新的自然語言理解任務。
注意其中的連續預訓練過程，它可以分為兩個步驟，即構建無監督預訓練任務和通過多任務學習增量地更新 ERNIE 模型。這裡不同的任務是一個序列，因此模型在學習新任務時能記住已經學到過的知識。
如下圖 2 所示為連續預訓練的架構，它包含一系列共享的文本編碼層來編碼上下文信息，這些文本編碼層可以通過循環神經網絡或 Transformer 構建，且編碼器的參數能通過所有預訓練任務更新。
圖 2：ERNIE 2.0 中多任務預訓練的架構。
最後，為了驗證上面這種預訓練方式的有效性，百度的研究者通過一系列無監督自然語言處理任務構建預訓練模型。如下圖 3 所示為 ERNIE 2.0 具體模型結構，我們可以看到它主要包含三類預訓練任務。其中 word-aware 任務將教會模型捕捉詞彙層面的信息，structure-aware 任務將教會模型捕捉句法層面的信息，semantic-aware 任務則負責提供語義方面的信息了。
圖 3：ERNIE 2.0 模型的具體結構，其採用的 7 個任務都可以分到三大類中。
值得注意的是，相比 BERT 等模型，ERNIE 2.0 會帶有一個任務嵌入，這個嵌入對於不同的任務都是唯一的，因此在精調的過程中模型能清楚地知道目前預訓練的任務到底是什麼。
因此，依託該框架的 ERNIE 2.0 預訓練模型不僅實現了 SOTA 效果，而且為開發人員定製自己的 NLP 模型提供了方案。
ERNIE 2.0 效果怎麼樣
百度研究者分別比較了 ERNIE 2.0 和當前最優預訓練模型在中英文任務上的性能。英文任務中，ERNIE 2.0 在自然語言理解數據集 GLUE 的 7 個任務上擊敗了 BERT 和 XLNet。中文上，ERNIE 2.0 在閱讀理解、情感分析、問答等不同類型的 9 個數據集上超越了 BERT，並刷新了 SOTA。
為了方便與 BERT 進行對比，百度研究者使用與 BERT 相同的 transformer 模型設置。ERNIE 2.0 base 模型使用 48 塊英偉達 v100 GPU，large 模型使用了 64 塊英偉達 v100 GPU。ERNIE 2.0 在百度深度學習框架 PaddlePaddle 中實現。
數據
模型訓練所用英文數據是維基百科和 BookCorpus，另有一部分來自 Reddit，此外，百度使用 Discovery 數據作為篇章關係數據。而中文數據則包括來自百度搜尋引擎的百科、新聞、對話、信息檢索和篇章關係數據。具體數據統計情況見下表：
ERNIE 2.0 在英文任務上的性能
ERNIE 2.0 模型在 GLUE 數據集上的性能如下表所示。我們可以從表中看到，ERNIE 2.0_BASE 模型在全部 10 項任務中的性能均超越 BERT_BASE，得到了 80.6 的分數。
ERNIE 2.0_LARGE 在除 MNLI-m 以外的其他任務中的性能均超過 BERT_LARGE 和 XLNet_LARGE。而 ERNIE 2.0LARGE 在全部任務測試集上的性能均超過 BERT_LARGE，得到了 83.6 的分數，比之前的 SOTA 模型 BERT_LARGE 提升了 3.1%。
表 6：模型在 GLUE 上的結果，其中開發集上的結果是五次實驗結果的中位數，測試集結果是通過 GLUE 評估服務完成的。
ERNIE 2.0 在中文任務上的性能
研究者在 9 個中文 NLP 任務上進行了大量實驗，這些任務包括機器閱讀理解、命名實體識別、自然語言推斷、語義相似度、語義分析和問答。
那麼具體效果如何呢？下表展示了 ERNIE 2.0 等模型在這些中文任務上的性能。
表 7：模型在 9 項常規中文 NLP 任務中的結果。模型結果均為五次實驗結果的中位數，粗體字表示 SOTA 結果。
ERNIE 2.0 在全部 9 項任務上的性能均超越 BERT_BASE，且 ERNIE 2.0_LARGE 在這些中文任務上獲得了最優性能，創造了新的 SOTA 結果。