煢煢 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
我，一個科技小編，最近在跟國外大佬的郵件交流中，感到飄過六級後的自己英語寫作水平那真是日漸捉急。
從句怎麼用？時態對不對？看著對面主編犀利的目光，那一瞬間，真想問問自己為什麼不good good study, day day up。
於是，我決定了，我要好好學習英語寫作！
想要提升水平，不自己動筆寫總是差那麼點意思。
那麼，問題來了：寫的好不好，誰來幫我批改呢？
其實，打從小學開始學英語，小學、中學、四六級、雅思託福……英語作文怎麼提高從來都是一個難題。
尤其是各類考試，有嚴格的評分標準，可身邊哪能時時有經驗豐富的閱卷老師幫忙有針對性地修改提高呢？
聽聞我的煩惱，一位網易有道的胖友向我招了招手：你看我手機裡這個紅色的App，裡面最新上線了一隻AI，能幫你批改英文小作文喲。
對啊，如果AI真的能準確評分，甚至給出修改意見，那像我一樣的同學們不就能隨時隨地把英語作文練到飛起了嗎？
略一調研，我發現，現在有AI批改英語作文功能的產品還真不少：網易有道詞典、微軟愛寫作（小英）、批改網、Grammarly……
想到現在宅在家裡的大朋友、小朋友可能也有同樣的困擾，我決定親自測試一下這些AI們到底靠譜不靠譜。
AI批作文，到底哪家強？
初篩一番，我挑選出了幾個免費、容易上手使用的選手參與測評，分別是：網易有道詞典AI作文批改，微軟愛寫作，以及Grammarly免費版。
那麼，話不多說，讓我們直接進入比賽。
Round 1：手寫識別
像小學中學英語考試、四六級以及考研英語、雅思託福考試，實際應試時都需要在紙面上進行寫作，因此在練習時，同學們也往往會選擇手寫。
寫完一遍，再打一遍字，未免有些麻煩，如果拍張照，AI就能自己識別我到底寫了什麼，那就方便多了。
有道AI作文批改和微軟愛寫作均支持圖片識別功能。而Grammarly……由於沒有這一功能，這位選手選擇暫時退場。
我使出洪荒之力，用非標準應試字體謄寫了一篇作文，測試兩位選手。
先來看有道AI作文批改的表現：
識別得相當準確，有塗改的地方也沒有出現誤識別的情況，為數不多的幾個需要手動修改的地方，基本上都是手寫時字母和字母之間空格太大，因此識別時成了兩個單詞。
再來看一下微軟小英的結果：
由於我沒寫標題，小英強制把第一段都識別成了標題。忽略掉這一點的話，識別準確率也很高。但對於標點符號的識別不及有道AI作文批改敏感（上圖紅色標註處）。
還有個小問題：如果你把兩個詞寫得比較開，小英會識別出多餘的空格，檢查得不仔細的話，會影響下一步評分的準確性。
另外，相比於只有網頁版的微軟愛寫作，手機端的有道詞典可以直接拍照識別，無需再倒一手把照片傳到電腦上，還是要方便一些。
Round 2：糾錯能力
如果說OCR只是影響用戶使用方便與否的細節，那AI批改作文的重點，當然在於能不能準確抓住作文中的bug。
有道AI作文批改、微軟小英和Grammarly都有識別文中語法錯誤並給出修改意見的功能。
這一輪，我們用一些單句來測試一下誰的Debug能力更強。
例句一：When the girl will leave, she fount an old begger in the tree and looked at angry and cold.
有時態錯誤，也有拼寫錯誤。
有道揪出了4處錯誤：
具體的判斷是：疑似用詞不當，建議將「will leave」修正為「left」；疑似動詞時態錯誤，建議將「fount」修正為「found」；疑似名詞誤用，建議將「begger」修正為「beggar」；疑似介詞「at」冗餘，建議刪除。
把問題拋給微軟小英，它也同樣找出了這4處錯誤，並給出了一個單詞替換建議。
具體判斷是：錯誤動詞時態，將「will leave」改為「left」；動詞用法錯誤，將「fount」改為「found」；單詞拼寫錯誤，將「begger」改為「beggar」；冗餘，刪除「at」；建議將「cold」換成「bitter」、「hard」、「mean」。
最後看一下Grammarly的判斷。
Grammarly免費版指出了一處單詞拼寫錯誤，並建議我升級付費版。
同樣，在「But this stress didn’t stop me from thinking to attend the biggist activity in our school」這個句子中，有道和小英都指出了3處錯誤：
介詞「to」改「about」；動詞「attend」改「attending」；「biggist」拼寫錯誤，改為「biggest」。
而Grammarly免費版還是僅僅指出了「biggist」這個拼寫錯誤。
看來，就免費體驗來說，Grammarly的語法修改偏於簡單了。
最後，給有道AI作文批改和微軟小英出一個加試題。
例句二：On a cold morning, while I was watching a girl buy bread and milk in the fiont for me.
對於AI而言，這個句子的識別難點在於，同一個對象涉及了多個錯誤，「fiont」這個拼寫錯誤後面，緊跟著「for」這個介詞使用錯誤。
面對這一題，有道成功把「in the front of」這個整體識別了出來，既指出了拼寫錯誤，也發現詞組中介詞的錯誤。
而微軟小英的改法令人有些看不懂，難道是感應到了句子裡主人公的內心戲？
這輪比拼結束，小小總結一下。
同樣是免費，Grammarly免費版相比於兩位中文世界的選手，差距有點大。
不過，Grammarly有插件版本，直接寫郵件的時候，能夠邊寫邊糾錯。
但如果是想要在AI的幫助下提升英語寫作能力，Grammarly免費版恐怕不是上佳選擇。
而有道AI作文批改和微軟小英，都更符合國內的英語學習路徑，總體表現都還不錯。不過，在錯誤複雜度提高的時候，有道的表現略勝一籌。
Round 3：評分準確度
另一個重點，是評分的準確度。
畢竟，考試都有嚴格的評分標準，能否依據標準給出準確的打分，對於廣大有應試需求的同學們而言還是非常重要的參考指標。
有道AI作文批改和微軟愛寫作，都支持多學段英語作文批改，涵蓋小學、初中、高中、四六級、雅思託福和考研英語。
至於Grammarly，作為一款「舶來」應用，並不是很適合我考試大國的風格，沒有推出打分功能，亦無法區分學段和考試類型。
不過，使用Grammarly，也可以針對自己的情況進行一些個性化設置，包括Audience（受眾）、Formality（正式程度）、Domain（領域）。
問題還是，免費版選擇有限。
我在網上找了一篇 7.5 分的雅思範文，人類老師對這篇作文的評價是：詞彙豐富、語法點豐富，並且論證全面。
那麼AI會如何評價這篇作文呢？
還是先來看看有道AI作文批改的答卷。
有道給這篇作文打了8分，並且就詞彙、結構、語法和內容都給出了評級。
點擊查看點評，還能看到AI閱卷官從詞、句、篇章著手，對作文的總體評價，一些更高級詞彙的推薦，以及好詞的鞏固。
……詞彙量較為豐富……文章較為流暢……詞彙基礎紮實。
這樣的評語，與人類老師的判斷基本一致。
同樣一篇文章，我們來看看微軟小英怎麼說。
同樣給出了8分，比較特別的是，小英會統計作文中所使用的考綱詞彙、邏輯連詞和從句數量。
與有道給出的總體評價報告不同，小英給出的是文章結構、句間關係、切題程度、展開程度4個評價指標。
需要注意的是，如果想參考文章內容中切題程度這個指標，必須填寫文章標題。而展開程度這個指標，我反覆試了多篇作文，從高考範文到雅思範文，都是穩定一星……
這輪比拼結束，同樣做個小結。
總體而言，有道和小英的評分結果都根據考試類型的不同，與考試評分標準對齊，具有參考價值。
在細節上，有道會根據字數、詞彙使用情況、語句邏輯及銜接等方面給出綜合評價，微軟小英則是分點給出建議，主要集中在文章結構和句間關係兩個方面。
不過，在測試中微軟小英出現了一些小bug。
比如六級作文的滿分是15分，但在得分界面其最高分卻是25分。
背後技術
看來有道詞典批改作文的AI，確實有兩把刷子。
出於科技小編的好奇心，我向文章開頭給我推薦軟體的胖友打聽了一下，在這背後究竟是怎樣的技術。
以有道為例，其英語作文批改分為三個核心模塊：評分模塊 + 評語模塊 + 糾錯模塊。
評分模塊負責提供總分，及詞彙、語法、結構得分，採用的是傳統方法 + 深度學習方法。
評語模塊提供全文評語、詞彙推薦、範文推薦。
糾錯模塊提供14個類別的語法錯誤識別及修正，包括淺層的拼寫錯誤、深層的語法錯誤等。
其中，拼寫糾錯運用的是基於BERT的NER實體識別技術。
語法糾錯，則被定義為序列到序列的生成問題。核心基於Transformer架構。
核心模型所做的事，其實類似於翻譯：將語法錯誤的句子翻譯成語法正確的句子。
此外，在語法糾錯中，還採用了遷移學習和對抗學習。用真實語料和基於真實用戶錯誤分布生成的海量偽語料，不斷提升模型能力。
以上是網易有道詞典的質量評估結果。P值為精確率（Precision），R值為召回率（Recall），F0.5為P值與R值的調和平均，其值越高，通常表示算法性能越好。
可以看到，有道AI作文批改的測試結果已達行業領先水平。
好啦，看罷這一篇試用報告，不知道正備考四六級、雅思託福、考研英語的你願意pick AI為你免費批改作文嗎？
今天先醬，有其他煩惱需要評測AI工具，也可以留言區跟我說哦~
— 完 —