作者 | 蔣寶尚
編輯 | 賈偉
全世界約有6900種語言，但大多數並沒有英語這種數據規模，這也導致大多數的NLP基準僅限於英文任務，這大大制約了自然語言處理的多語言發展。
從語言學的角度，值得注意的一點是，不同語言或許有相同的來源，例如英語的「desk」和德語的「 Tisch」都來自拉丁語「 discus」。
如何利用語言之間的這種「共享結構」來克服數據不足問題，是當前學術界嘗試多語言研究的方向之一。近日，谷歌聯合CMU、DeepMind推出的《XTREME：評估跨語言泛化的大規模、多語言、多任務基準》（XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization）極大的鼓勵了多語言研究。
（雷鋒網）這篇研究涵蓋了40種類型多樣的語言（涵蓋12種語系），還包括9項需要共同對不同級別的句法或語義進行推理的任務。
XTREME設計原則
正如谷歌論文的標題，XTREME是一個基準，用來評估跨語言遷移學習的好壞，在多樣化和具有代表性的任務和語言上，其選擇構成基準的任務和語言主要考慮的原則包括：任務的難度、任務的多樣性、以及訓練的效率、多語言性、充足的單語數據等等。
1、任務難度足夠有挑戰性，使得跨語言的表現低於人的表現；2、任務應該要求語言模型在不同的層次上傳遞不同的意義，例如，分類任務需要句子級的意義轉移，而序列標記任務，如語音部分（POS）標記或命名實體識別（NER）則需要測試模型在詞級的意義轉移能力；3、考慮到資源有限，任務要求在一個GPU上就能夠訓練，而且訓練時間不能超過一天；4、首先考慮涵蓋多語言和語系的任務；5、任務的使用是獲得許可的，能夠允許用於研究，以及以此為目的數據再分配。
XTREME任務一覽
（雷鋒網）
XTREME包含9個任務，共有4個類別，可以在不同的意義層次上進行推理。任務概述如上表所示。
XNLI：FAIR 和紐約大學合作開發，作為一個新的自然語言推斷語料庫，其將MultiNLI 的測試集和開發集擴展到 15 種語言，包括斯瓦西裡語和烏爾都語等低資源語言。
PAWS-X：是在 PAWS 數據集基礎上, 擴展了包含另外6 種不同類型語言的釋義識別對抗性數據集, 支持語言包括: 法語、西班牙語、德語、漢語、日語和韓語。PAWS-X 數據集則包含23 659組由人工判斷而得的PAWS 擴展句子對, 以及296 406 組由機器翻譯的訓練對。
POS：作者使用了通用依存關係中資料庫中的POS標籤數據，並使用英語訓練數據進行訓練，並在目標語言的測試集上進行了評估。
NER：對於NER，作者使用了Wikiann數據集，並用知識庫屬性、跨語言、錨連結、自我訓練和數據選擇相結合的方法，對維基百科中的命名實體進行了IOB2格式的LOC、PER和ORG標籤的自動注釋。
XQuAD：是一個更全面的跨語言基準測試，包括由專業翻譯人員翻譯成十種語言的240段和1190對問題回答。
MLQA：這是一個類似於XQuAD的多語言問題回答數據集，能夠用於評估跨語言問答性能的基準。其由SQuAD格式的超過5K提取QA實例（英語為12K）組成，使用7種語言-英語，阿拉伯語，德語，西班牙語，北印度語，越南語和簡體中文。
（雷鋒網）XTREME基準測試中支持的任務
TyDiQA-GoldP：TyDiQA是一個涵蓋了 11 種不同類型語言的問答語料庫，TyDiQA-GoldP是其簡化版，並排除了一些無法回答的問題。它類似於XQuAD和MLQA，但比這兩個分別少了三倍和兩倍的的詞法重疊度。另外，作者使用使用英語訓練數據在目標語言的測試集上進行訓練和評估。
BUCC：該數據集為每種語言提供了訓練和測試分詞，為了簡化，作者直接對測試集上的表徵進行評估，沒有進行微調，但使用了餘弦相似度公式計算相似度。
Tatoeba：該數據集包含了多達1000個覆蓋122種語言的英語句子對，在該數據集上，作者使用餘弦相似度找到近鄰（ nearest neighbour），並計算錯誤率。
綜上，XTREME中包含的任務涵蓋了一系列範式，包括句子分類，結構化預測，句子檢索和問題解答。
評估
由於英語是多語言表徵中最常用的評估設置，並且多數任務中僅有英語訓練數據，所以谷歌在評估設置上採用英語作為源語言的zero-shot跨語言遷移。雖然英語並非所有目標語言的跨語言遷移的最佳源語言，但這是目前實踐中最擁有的設置。
為了使用XTREME評估模型性能，首先需要使用引起跨語言學習的目標語言在多語言文本上對模型進行預訓練，接著在指定任務的英語數據上對模型進行微調。隨後，XTREME 在目標語言上評估模型的zero-shot跨語言遷移性能。
下圖展示了從預訓練到微調再到zero-shot遷移的三大流程：
模型的跨語言遷移學習過程：1、針對多語言文本的預訓練；2、使用英語對下遊任務進行微調；3、使用 XTREME 進行 zero-shot 評估。
實踐中，這種zero-shot設置的好處之一是能夠提升計算效率，即預訓練模型僅需要針對每個任務在英語數據上進行微調，便可以在其他語言上直接進行評估。
針對在其他語言中也有標註數據的任務，作者也比較了模型在這些語言上進行微調後的性能，最終獲得了 9 個XTREME任務的zero-shot得分，得出了綜合分數。
在基準測試方面，谷歌研究者選擇幾種當前最先進的多語言模型進行試驗，包括多語言BERT 模型 （mBERT），多語言BERT 模型的大型版本XLM和XLM-R 以及大型多語言機器翻譯模型 M4。這些模型的共同特點，就是它們已經在來自不同語言的大量數據上進行了預訓練。
在方法上，主要採用的是通過自監督或藉助譯文來學習多語言表徵。
圖註：基於翻譯的基準對句子檢索沒有意義。在有目標語言訓練數據的情況下，作者提供了語言內基準。
實驗結果如上圖所示，XLMR是表現最好的模型，總體上比mBERT有明顯的改進，但是在結構化預測任務上的改進較小。MMTE在大多數任務上的性能與mBERT相當，在XNLI、POS和BUCC上的性能更強。
對於有語內訓練數據（ in-language training data）的任務，使用語內數據訓練的多語言模型要優於zero-shot遷移模型。但是，只要有更多的英語樣本，zero-shot遷移模型就會好於只訓練了1000個複雜QA任務的語言內示例的多語言模型。
對於結構化預測任務，1,000個語內實例能使模型達到與在完整的標籤化數據集上訓練的性能。
最後，在Translate-train和In-language設置上的多任務學習一般都比單一語言訓練有所改善。
對於一些有代表性的模型，作者研究了跨語言轉移差距，即在英語測試集上的表現與所有其他語言之間的差距。
如上圖所示，雖然在XQuAD和MLQA等具有挑戰性的任務上，XLM-R等強大的模型與mBERT相比，可以顯著縮小差距，但它們在句法結構化預測任務上的影響不盡相同。
在分類任務上，轉移學習的差距最小，說明在這些任務上的進步空間可能較小。
機器翻譯的使用雖然縮小了所有任務之間的差距。總體而言，所有方法都存在很大的差距，這表明跨語言遷移工作的潛力很大。
分析
作者進行了一系列的分析，研究了當前能夠達到SOTA的跨語言模型的局限性。具體分析包括五個部分：
圖註：XLM-R在XTREME任務中所有語言在各個任務中的表現概述
最佳zero-shot模式分析：如上圖所示，這部分主要說明為什麼在不同的任務和語言中評估通用的多語言表徵非常重要。
與訓練前數據大小的相關性：如上圖模型性能與各語言中維基百科文章數量的皮爾森相關係數ρ，表明除了結構化預測任務的任務外，多數任務的相關係數都很高。這意味著當前的模型無法充分利用從預訓練數據中提取的信息來轉移到句法任務。
語言特點分析：如上圖，根據不同語系和編寫腳本分析結果。對於mBERT，印歐語系的分支(如日耳曼語、羅曼語和斯拉夫語)的遷移性能最佳。相比之下，尼日-剛果和克拉-傣語等低資源語系的跨語言遷移表現仍然較低。另外，不同的流行腳本，如拉丁文和表意文字，在句法任務上的表現是不同的。
跨語言的錯誤：因為對於其他測試集是從英語翻譯過來的XNLI和XQuAD，這部分作者分析了這些方法在源語言和目標語言中是否會犯同樣類型的錯誤。更為具體一些是探討了英語中正確和錯誤預測的例子是否在其他語言中被正確預測。結果是在XNLI和XQuAD數據集上有不同答案。
推廣到不可見的標籤組合和實體：這部分主要分析了結構化預測任務遷移不成功的原因。結論是該模型可能難以推廣到更具目標語言特徵的實體。