對於英語學習者來說，機器自動批改作文技術已經不再陌生，而全球人工智慧專家們正在攻克更具挑戰性的堡壘——中文作文批改。
12月初，第六屆中文語法錯誤自動診斷大賽（Chinese Grammatical Error Diagnosis，以下簡稱CGED）公布最終成績，作為首次參賽的隊伍，有道AI自然語言處理（NLP）團隊在比賽中的語法糾錯Top3賽道斬獲冠軍，並且在另外兩個賽道（語法糾錯Top1、錯誤定位）位列前三，這也標誌著有道AI在中文作文批改上取得的又一重大進展。
CGED大賽已經走到第六年，比賽的方式是由計算機自動對外國人寫作的中文句子進行錯誤的檢測和糾錯，分為檢測是否有錯誤、錯誤位置、錯誤類型、糾錯等共計6個賽道。來自國內外14支團隊參與了今年的比賽。
英文語法錯誤診斷：有道已實現全面產品落地
AI作文批改技術在英語學習上的應用，網易有道早已實現落地。
2020年年中，網易有道將AI作文批改功能正式落地於網易有道詞典App，隨後在有道精品課初中英語秋季系統班中成功應用，用戶反饋良好。
近日，網易有道推出「有道寫作」，將原有內嵌在網易有道詞典App的AI作文批改功能，延伸至網頁瀏覽器、Word插件、PC詞典等埠，滿足用戶的多場景使用需求。
AI作文批改受益於有道在神經網絡機器翻譯任務上的多年數據積累和快速更迭的深度學習技術，使用了基於Transformer架構的核心引擎，能夠對用戶的英語作文進行評分、評語和糾錯，有效解決了不同年齡段英語學習者的自助學習的需求。
中文難於英文：語文作文批改面臨更高技術壁壘
相比於英文，中文語法糾錯任務的研究還較為早期，無論是任務本身的特點，還是數據的積累都與英文有較大的差異。
一方面，中文字符連寫，傳統的語義理解及分析的方法基本上都需要依賴於分詞等前置處理模塊，而存在錯誤的文本會放大語言的歧義性，帶來基礎模塊識別質量的下降；另一方面，中文的語法不像英文有較為嚴格的規則，相對更為隨意和複雜，不容易通過定義規則來處理。和英語語法糾錯任務相比，比賽方能夠提供的中文訓練數據是非常有限的，因此很難直接使用較為複雜的深度學習模型充分學習建模。
儘管有道AI團隊在智能批改糾錯方面有較長時間的積累，該任務對技術團隊來說仍然是不小的挑戰。」
「人工智慧只有通過積累足量的語料後，才可以理解複雜度高的語法錯誤，進而才能作為產品功能落地。」網易有道首席科學家段亦濤表示，網易有道在教育和學習場景之下深耕多年，在OCR（光學字符識別）、NMT（神經網絡翻譯）、語音識別技術等方面都已經有良好的技術落地成果，且用戶口碑和體驗一直好評不斷。
機器批改作文：Precision（精確率）在工程實踐中更具意義
值得注意的是，有道AI團隊在本次比賽中的語法糾錯項目中，在CorrectionTop3和CorrectionTop1綜合指標（F1）分別獲得第1和第3名的情況下，對應的Precision（精確率）要明顯高於其他參賽隊伍。這在教育實踐場景當中對用戶體驗更為重要。
比賽綜合指標F1兼顧了Precision與Recall（召回率），作為模型精確率與召回率的一種調和平均。前者代表參賽系統給出的所有修改片段中，片段被正確修改的比例；後者代表在所有需要被正確修改的片段中，參賽系統修改的片段佔的比例。
有道在Precision上的絕對領先，是源於有道AI寫作助手的設計理念：錯誤的修改建議將誤導用戶進行不正確的修改，從而大大影響用戶的體驗。而且，在用戶本身缺乏辨別能力的業務場景（如：低齡兒童的教育業務）中，該問題還會被進一步放大。
因此，在英文語法糾錯任務（如：CoNLL-2014和BEA-2019英文語法糾錯任務）中，通常會採用F0.5作為評價指標。該指標的計算方法與F1指標類似，區別在於相比於Recall，該指標賦予了Precision更高的權重。
在CGED獲獎之前，網易有道曾試水了第七屆NLPCC中的「中文語法錯誤修正」共享任務比賽，斬獲冠軍。在技術優勢積累、K12業務拓展的加持下，網易有道在語文作文修改領域的技術升級進展飛速。
目前，網易有道的產品矩陣中已經布局了不少針對CSL（以中文為第二語言）學習者的課程和應用。段亦濤表示，除了設計面向中文學習者的學習工具，未來網易有道還可以與中小學校合作，實現輔助老師進行作文批改等功能，進一步擴大有道AI技術在K12業務上的應用場景。