主講人 | 龍心塵 百度NLP資深研發工程師
量子位編輯 | 公眾號 QbitAI
近幾年以預訓練為代表的NLP技術取得了爆發式發展，新技術新模型層出不窮。企業與開發者如何將最先進的NLP領域科研成果，高效地應用到業務場景中並解決實際問題？
「百度EasyDL AI開發公開課」中，百度資深研發工程師、文心語義理解平臺技術負責人龍心塵結合世界領先的文心(ERNIE)語義理解技術，通過產業實踐案例，深入解析技術選型和模型調優的方法，分享了工程實踐中的經驗。
講解分為5個部分：
NLP常見任務
NLP典型應用場景
EasyDL-NLP與文心（ERNIE）簡介
文心核心技術解析
NLP定製化實踐與經驗分享
直播回放見連結：https://www.bilibili.com/video/BV1Zi4y157jd
以下為分享內容整理：
NLP常見任務
自然語言處理（NLP）大致分為4大經典任務：文本分類，文本匹配，序列標註，文本生成。
文本分類
假設輸入文本為x，輸出標籤為y，如果y 表示x屬於某一個類別的概率，或者一組類別的概率分布，則可抽象為文本分類問題。
典型的文本分類包含情感分析、新聞主題分類、文本蘊含。
情感分析一般需要判斷某句話是積極的或消極的，屬於單標籤分類。
新聞主題分類相對複雜，一個新聞可能同時具有多個互相獨立的屬性，可以同時出現，屬於多標籤分類。
文本蘊含任務輸入的是兩段文本，需要判斷兩段文本之間的關係（包含關係、對立關係、中立關係等），屬於句對分類。
文本匹配
假設輸入文本為x，輸出標籤為y，如果x是兩段文本（x1、x2），Y表示二者的相似度，則可抽象為文本匹配問題。
如圖，x1與x2的意思是非常相似的，所以標籤y是1。如果x1與x2的含義不相似，那麼輸出的y就是0。如果需要判斷兩者相似的概率，標籤y在0-1之間。
文本匹配任務在搜尋引擎、推薦、FAQ等判斷兩句話相似的場景中應用非常廣泛。
除此之外，文本聚類問題也可以通過文本相似度問題進行處理。機器學習的聚類算法的核心步驟是計算兩個樣本之間的距離，而相似度就是兩個文本之間距離的度量，可以很好地判斷文本間語義層面上的距離。
序列標註
假設輸入文本為x，輸出標籤為y，如果x是一段文本，y是一段與x等長的文本，且x與y的每個字符一一對應，則可抽象為序列標註問題。
如上圖是一個命名實體識別任務，需要要判斷一句話裡的一些關鍵詞語，是否屬於地址、人名等實體。這句話裡面，「廈門」和「金門」是兩個地址實體。
同時，這個句子中的每一個字，我們都會給出判斷，將不需要關注的字標記為O，因此輸出的判斷標籤Y與X是等長的。
除此之外，分詞、詞性標註、組塊分析、語義角色標註、詞槽挖掘等，都是典型的序列標註任務。某些人將閱讀理解也理解成一種特殊的序列標註，X是2段文本，分別表示正文篇章和問題，Y是篇章中的一小段文本，表示對應問題的答案。
文本生成
假設輸入文本為x，輸出標籤為y，如果x是一段文本，y是一段不定長的文本，則可抽象為文本生成問題。
最典型的文本生成問題是機器翻譯，比如輸入一段英文，輸出一段其他語言的文字。這兩段文字的字、詞的順序不一定一一對應，因此輸出的是一個不定長的文本。
另外，文本摘要、標題生成、閒聊等都是典型的文本生成任務。
NLP典型應用場景
上述介紹了四大經典NLP任務，核心是希望大家注意不同任務的輸出X與輸出Y。這樣就可以在真實的NLP應用場景中，能把不同任務拆分成簡單的典型任務。
在企業實際應用和產業實踐中，業務需求千變萬化，往往需要對NLP模型進行定製化的訓練。
定製過程中，企業要考慮三個要點：效率問題、效果問題、效能問題。
為了幫助中小企業更高效的實現NLP模型訓練、優化、部署應用，百度面向企業提供了的零門檻、一站式AI開發平臺—EasyDL提供全流程服務支持，和業界領先的語義理解技術平臺—文心（ERNIE）為企業降低NLP定製成本，下文為大家詳細介紹其優勢與核心技術。
EasyDL：全流程企業級定製化服務支持
EasyDL為大家提供一站式定製化NLP開發平臺，低門檻、簡單易用。面向企業客戶和開發者提供全流程技術服務配套，包括業務問題分析、技術選型指導、模型優化指導、開發者使用培訓等。
EasyDL不僅為企業客戶提供全流程方案與技術支持，在解決企業業務問題的同時，也讓企業能更好地沉澱自身技術實力，真正做到「授之以漁」。
文心：降低NLP定製成本
文心（ERNIE）是依託百度深度學習平臺飛槳打造的語義理解技術與平臺，集先進的預訓練模型、全面的NLP算法集、端到端開發套件和平臺化服務於一體，為企業和開發者提供一整套NLP定製與應用能力。
文心基於最新一代預訓練範式的技術優勢，能夠大幅降低NLP定製成本。
對於企業來說，文心的低成本定製能力意味著什麼呢？更少的標註數據、更少的算力投入、更短的開發周期。
文心核心技術：ERNIE 2.0（持續學習語義理解框架）
文心開創性地將大數據預訓練與多源豐富知識相結合，持續學習海量數據中的知識，避免災難性遺忘，將機器語義理解水平提升到一個新的高度。
以中文模型為例，目前ERNIE已經學習了1500萬篇百科語料和詞語、實體知識，700萬個人類對話，3億的文章的因果結構關係，以及10億次的搜索查詢與結果的對應關係，以及2000萬的語言邏輯關係知識。
模型還在持續不斷地建模新的海量數據與知識，不斷地提升下遊的應用效果。ERNIE在中英文的16個任務上已經超越了業界最好模型，全面適用於各類NLP應用場景。
文心的技術創新：ERNIE-GEN
為了解決文本生成任務中的問題，ERNIE提出了ERNIE-GEN技術範式。
首先，ERNIE-GEN主要關注文本生成任務中的「曝光偏置」問題。ERNIE-GEN採用了填充式生成技術，在訓練和解碼中，插入人工符號（ATTN）和位置編碼來匯聚上文向量表示，用於每一步的預測。
即將模型的注意力從上一個生成字符轉移到更全局的上文表示，以緩解上一個字符預測錯誤對後續生成的負面影響，緩解曝光偏置問題，增強生成魯棒性。
其次，ERNIE-GEN採取了多流注意力機制，能夠同時實現逐詞生成任務和逐片段生成任務。
文心的技術創新：ERNIE-ViL
我們知道，人類的認知不僅通過閱讀文字產生，還通過觀察大量的事物、查看大量圖片、動畫片、圖文相結合等方式，是多模態的形式。
那麼，如何讓模型學習文本、圖像、語音等不同形式的信息，從而在認知理解層面取得更好的效果？
在多模態領域，我們的ERNIE-ViL（知識增強的視覺語言表示學習）更加強調的是在引入圖像信息的同時，融合了更多知識。即細粒度語義信息抽取，區分普通詞與語義次，構建了物體預測、屬性預測、關係預測三個預訓練任務，聚焦細粒度的語義對齊知識。
正是因為結合了多模態與知識，ERNIE-ViL在視覺問答、視覺常識推理、引用表達式理解、圖像檢索、標題檢索等5項多模態任務集合上取得世界最好的效果。並且在視覺常識推理任務榜單中取得第一名。
案例實踐分享
實際應用中，NLP定製化訓練任務可拆分成7個步驟，並不斷循環、迭代優化：
因此，提升NLP模型訓練效果，一方面要提升循環迭代的速度和效率，另一方面則需要考慮如何提升優化效果。
1.任務拆分
首先，遇到任何文本場景的任務問題，都可以拆分成上述的典型任務。接下來，明確任務本身的輸入與輸出是什麼，明確子任務的輸入與輸入是什麼，然後把這些子任務組合起來，最終解決問題。
以百度APP的搜索問答場景為例，輸入的是問題，輸出的是答案。
首先進行簡單抽象為一個文本匹配問題。因為我們可以提前把這些答案準備好，用戶提問時只需計算問題與答案的匹配度，問題與答案匹配度高，就把答案推薦出來，若匹配度低則不推薦。
再來進一步拆分。首先，用戶輸入的可能並非是明確的問題，未必有答案。因此我們需要前置一個「文本分類」任務來過濾問題，過濾掉大量的不是明確問題的流量。接下來，再將能夠匹配答案的問題進行問答匹配任務。
2.技術選型
技術選型也可理解為一種廣義的優化問題：在有限的條件下，找到合適的方案，優化出最好的目標。所以問題的核心是先明確現有條件的限制是什麼、目標是什麼。
接下來，基於應用場景、硬體條件，選擇相應的可選技術方案，來達到目標優化效果：
比如對於模型效果的提升的目標，可以借鑑以往經驗：
3.選擇網絡
在文本分類的場景下，以BOW網絡為例，典型網絡結構依次包括：輸入文本的ID序列、 Embedding、BOW結構、全連接層、Softmax層。
其中BOW層可替換為CNN、TextCNN、GRU、LSTM，隨著網絡結構越來越複雜，模型效果一般也會依次提升。
Embedding層可以替換為ERNIE、Transformer，也會提升模型效果。
在文本匹配任務場景下，有4種不同的網絡結構，分別是單塔pointwise、雙塔pointwise、單塔pairwise、雙塔pairwise。
回到百度搜索問答場景下，在任務拆分這一步，我們將搜索問答拆分為文本分類、問答匹配兩部分。文本分類、問答匹配對預測速度的要求都非常高，因此我們選擇BOW網絡。在文本分類時選擇分類BOW，在問答匹配時選擇雙塔或者單塔BOW。
4.預訓練模型
下圖詳細介紹了文心預訓練模型的不同特點：
回到百度搜索問答場景，教師模型就需要選擇預訓練模型了。為提升教師模型的效果，其中的分類任務選擇ERNIE-BASE 2.0，匹配任務選擇ERNIE-SIM。
5.訓練模型
為提升訓練效率，如何選擇GPU或CPU，可結合實際情況參考如下：
那麼如何用好GPU、提升訓練效率？大原則是GPU的利用率越高，訓練速度越快。
首先，先小後大，先單機單卡，再單機多卡，最後多機多卡。一般來說，單機多卡的GPU利用率更高、更快。
其次，訓練數據與batch-size方面的改進。如將大文件拆成多個小文件，設置合理的數據緩衝區以提升數據讀取速度；根據神經網絡中最大矩陣估算顯存佔用，估算batch-size等；多卡模式下多進程訓練，添加混合精度訓練等方法，提升訓練速度。
回到百度搜索問答場景，教師模型選擇GPU訓練，而學生模型是海量數據的淺層網絡，用CPU集群訓練效果更好。
6.提升效率
如何提升迭代效率，不浪費寶貴的開發時間？我的經驗是，要選擇合適的開發平臺和工具：
另外，規範的開發流程也是提升迭代效率的關鍵。首先，需要分析業務背景，明確任務的輸入和輸出，將其抽象成已得到解決的NLP典型任務，並且明確評估指標。
第二步，快速實現NLP模型基線，建議大家準備幾千條、格式規範的訓練數據，進行無代碼訓練。同時選擇好網絡和預訓練模型。
最後，不斷優化模型效果。比如結合業務需求、進行更細緻的技術選型，小數據調試，配置參數級訓練、進行自主調參等。
7.優化效果
對於ERNIE系列預訓練模型，模型優化最重要的一點是優化數據質量。即反覆觀察bad case，針對典型case增加正確樣本；同時也可以考慮數據降噪相關策略，提升模型效果。
其次是優化數據數量。通過觀察學習曲線來評估數據數量是否合適，可以考慮數據增強、數據蒸餾等策略。
第三點是增加數據特徵，可以考慮增加非文本特徵，或增加新的文本特徵（如N-gram、subword、分詞邊界、詞性等）。
第四點是優化調參與組網。大原則是通過學習曲線觀察是否過擬合，若過擬合則降低模型複雜度、增加數據量，若欠擬合則增加模型複雜度。
One more thing
為了進一步降低企業應用AI的門檻與成本，EasyDL還重磅推出「萬有引力」計劃，為有AI應用需求的企業提供專項基金，詳情請點擊「閱讀原文」。
— 完 —
量子位 QbitAI · 頭條號籤約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態
原標題：《如何0代碼、快速定製企業級NLP模型？百度工程師詳解技術選型與模型調優策略》
閱讀原文