4月2日,國內領先的人工智慧在線教育機構流利說(NYSE:LAIX)宣布旗下AI英語老師提供的「定級測試」完成與中國英語能力等級量表(CSE,China’s Standard of English Language Ability,簡稱CSE)對接。這是目前國內第一家與CSE對接的企業,此前,英國文化教育處旗下雅思、普思等國際英語考試宣布與CSE完成對接。
據悉,為促進中國外語教育改革與發展,培養具有國際視野、熟練運用外語、通曉國際規則的新時代人才,國務院在《關於深化考試招生制度改革的實施意見》中提出加強「外語能力測評體系建設」的明確要求。其中,研製中國英語能力等級量表是外語能力測評體系建設的重要任務。量表是首個面向中國學習者的英語能力標準,於2018年2月由教育部、國家語言文字工作委員會正式發布。根據循序漸進的原則,CSE 將語言能力分為9個級別和3個發展階段,其中1-3 級為初級,4-6級為中級,7-9級為高級階段。
流利說此次提交的對接產品,是公司核心App「英語流利說」提供的「定級測試」系統。定級測試作為流利說AI英語老師的重要組成部分,該系統已經幫助近四千萬用戶完成了英語水平定級。其定級題庫涵蓋了六種題型,採用3PL模型(3 parameter logisticmodel)估計出每道題的難度、區分度和猜測度。測試過程根據用戶每一題的答題情況得出相應的測量誤差,隨著做題數量增加,測量誤差降低,在誤差低於設定閾值時結束測試。從測試實施到結果判定,整個過程由AI老師負責,涉及用戶的聽說讀寫能力,利用音頻、圖片等多種多媒體形式,完全自動化。
流利說聯合創始人兼首席科學家林暉博士表示:「在流利說定級測試與CSE對接之後,英語學習者能使用英語流利說App隨時衡量自己的英語水平並與國家標準對應,進而根據測試結果制定學習目標,運用流利說人工智慧英語老師對自身的英語水平進行針對性提高。」
本次對接過程主要採用改良的Angoff方法,CSE的主要起草人之一、廣東外語外貿大學劉建達教授作為團隊學術帶頭人,與數名具備豐富的一線高校英語教學經驗的成員組成專家組。他們結合CSE的分級方法,通過自身作答、知識點分析、難度判斷等方式進行討論和判斷,最終得出各題目對應CSE的級別。
劉建達教授表示:「研製CSE的目的之一是讓英語教學回歸本質——學習者能用英語做什麼,流利說與CSE的對接可以幫助AI技術賦能英語教育在教、學、測等方面的進一步升級。」
值得注意的是,改良的Angoff方法相比傳統的Angoff方法多了一輪討論和二次判斷的步驟,根據對接報告中援引的論文注1,第二次判定的結果相比第一次往往更為一致。結果顯示,第二輪判定後有13題級別上調,9題級別下調,充分體現了改良後Angoff方法彌補了傳統Angoff的不足,提高了對接的準確性。
對接報告顯示,流利說定級測試中的級別與CSE的級別基本相當:1級相當於CSE的1-2級,流利說的2級相當於CSE的2-3級,流利說的3級相當於CSE的3-4級,流利說的4級相當於CSE的4級,流利說的5級相當於CSE的4-5級,流利說定級測試的6級以上能力水平相當於CSE的5級或以上等級。