追一科技躍居SuperGLUE測試榜第二
SuperGLUE（Super General Language Understanding Evaluation）是當下NLP領域難度最大，權威性最高，含金量最足的測評標準之一，由紐約大學、華盛頓大學以及谷歌旗下的DeepMind聯合Facebook作為主要發起人推出，最大程度涵蓋了現實生活中可能遇到的不同類型的NLP任務，旨在更真實地反映當前最前沿的NLP技術可以達到的認知智能水平。
追一科技在為企業提供智能交互服務的過程中，技術和應用互相驅動，將實際商業化應用中總結出的多任務學習、對抗訓練、知識蒸餾等技術手段和經驗融入到參賽模型中，並在SuperGLUE測評數據集上拿到第二的成績。
除去作為參照的人類水平，目前排名榜單第一的是Google的T5模型。從學術研究看，T5模型達到了目前「實驗室智能」的最好水平，但如果考慮商用，T5需要耗費大量的算力，且模型自身體積過於龐大，目前還不能落地到實際業務場景中，缺少實際的商業應用價值。
而追一科技通過多任務學習、對抗訓練以及知識蒸餾的方式，使得RoBERTa-mtl-adv模型大小合理，效果僅次於Google的T5。同時，相關技術也落地到了追一科技AI數字員工的產品線上。就SuperGLUE排名而言，可以說追一科技的RoBERTa-mtl-adv模型在目前全球具有實際落地能力的NLP模型中效果最好，排名最高。
「學霸」模型的商業化能力
SuperGLUE測試項目並非是「花拳繡腿」，而是實實在在考驗模型通用能力的「鐵人三項」；參加SuperGLUE也並非只是為了刷新評分，更重要的是檢驗當前技術能否很好地落地到實際應用場景中去。
SuperGLUE覆蓋了問答、推斷、語義理解、常識判斷等自然語言理解維度，是人機智能交互過程中的核心環節，在具體的業務場景中都有很重要的應用價值。追一科技此次參賽模型的相關NLP技術已經被成熟運用於到自主研發的全套AI數字員工產品線上，廣泛服務於銀行、保險、泛網際網路、地產、政企等多個行業的標杆客戶。例如，在追一科技的智能在線機器人Bot中就融入了多輪問答技術、語義檢索、機器閱讀理解技術等NLP技術，能準確識別用戶意圖，滿足用戶需求。
口說無憑，接下來就結合SuperGLUE中的任務與Bot的具體案例，一探虛實。
單/多輪問答技術是指機器人和用戶之間一問一答，實現多輪對話的過程。例如下面這個智能在線機器人Bot服務餐飲行業的場景：
智能在線機器人Bot不僅可以從對話中準確識別出地點，人數等信息，還能進一步追問用戶未給出的「用餐時間」的信息，滿足客戶的需求。而傳統的客服機器人並不會對未給出的潛在信息做出反應。
機器閱讀理解技術在於機器人去「用力」理解文檔中內容的意思，從而根據用戶需求輸出相應的結果。例如在金融保險領域會涉及到大量保險業務文檔的修訂、新增等情況。在面對客戶時，即使是富有經驗的客戶經理，往往也很難迅速結合所有新增的文檔內容進行有效回答。這時，定製了閱讀理解技術的智能在線機器人Bot就又可以發揮作用了——可以實時幫助業務人員，針對相關問題從新文檔中提取出答案，解決問題，降低出錯的概率。
自然語言推斷任務中「文本蘊含」是常出現的形式，在實際用語中非常的普遍，參考下面這個銀行領域的例子：
因為白金信用卡屬於信用卡，因此「我的白金信用卡需要掛失」蘊含在「我的信用卡需要掛失」中，因此，智能在線機器人Bot 在回答用戶時只需準確指引用戶如何掛失信用卡即可。
指代消解在人的交流過程中非常常見，在表達中適當地使用指代會讓表達更加簡練卻不影響本意的闡述。如下面這個出行領域的例子：
智能在線機器人Bot理解了客戶問句裡的「上次」其實指代的是「上次中途取消訂單」，所以立馬給出了正確回復。
然而，最難為機器人的是常識推斷，對語言的理解離不開對常識的掌握。舉這麼一個例子：
機器人需要具備「影子是由太陽升起照射留下的」這樣的常識性推斷，才能正確的選擇答案。對於人來說，這些常識很簡單，但是對於機器來說，大量的這種常識知識都潛藏在我們意識的深處，AI系統的研究者幾乎不可能把所有這樣的常識都總結出來，並灌入到系統中，所以機器人在該數據集的表現往往不盡如人意。
落地到現實場景中，比如我們可以對智能在線機器人Bot說「我銀行卡弄丟了」，Bot就會詢問你是否需要掛失。因為它具備了「弄丟銀行卡需要掛失」這樣的業務常識。
可以看到，真實的交互場景中模型需要對語言的不同維度都具有理解能力才能完全正常流暢的對話。而上述的幾個例子中的問題形式都很好地包含在了SuperGLUE的不同數據集中，因此，此次追一科技在SuperGLUE測評指標上獲得的成績，不僅是對其RoBERTa-mtl-adv模型在理解自然語言技術上的一個肯定，還驗證了「技術驅動應用，應用導向技術」策略的可行性，更加堅定了追一科技繼續深耕技術，持續用AI賦能百業的信念。
免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據。
責任編輯：kj005
文章投訴熱線:156 0057 2229 投訴郵箱:29132 36@qq.com