200字作文尋出8處錯誤,AI閱卷是否靠譜?

2020-12-17 太平洋電腦網

近日,來自俄羅斯、韓國、尚比亞等國家的11位外國留學生完成了一份特別的中文試卷,之所以稱其特別,原因是這份中文試卷不是由老師批改,而是由AI進行評判。這批考生也成為了全球首批接受AI閱卷的學生。

200字作文尋出8處錯誤

考試前,老師給他們布置了一道作文題,名為「請寫一寫你的愛好」。半小時的寫作時間結束後,就輪到AI工作了。不過AI也不是直接就能對試卷進行評判,首先還是得先將試卷掃描,將掃描圖像轉化成文字之後顯示在電腦上,幾十秒不到,就見AI在一篇200字不到的作文裡尋得了8個錯誤。

(圖片源自微博)

在這份作文裡,我們可以看到,在「但中文的難點並非是字,而且像女朋友一樣善變」這句話中,AI將Redundant(多詞)標記在了「是」字下方,將Selection(錯詞)標記在了「而且」下方。此外,Missing(缺詞)和Word Order(語序錯誤)等錯誤,也被AI逐一標記在了文中對應位置。

據了解,這款AI來自阿里巴巴,將AI應用到外國人學中文試卷批改上,也是全球首例。在擁有評閱試卷的能力之前,這款AI需先經歷大量的中文語言體系學習,通過掃描儀掃描完卷面信息,使用OCR技術將其轉換成文本之後,AI再通過自然語言處理算法對文章內容進行分析,並識別出錯位類型和位置,最後批註在卷面上。從目前的測試情況來看,這款AI在準確率方面都接近甚至超越人類的水平。

AI閱卷是否靠譜?

通常,考試的試卷中都包含主觀題和客觀題兩部分。其中,AI參與客觀題的評判比較常見,客觀題一般都有標準答案,將考生的答案和事先存儲的標準答案進行比對,得出對錯,這是極其簡單的過程。

較高級的AI則可以在判斷對錯之後,對選項做出一定解釋,讓考生明白自己的選擇對錯及原因。除此之外,將所有考生的客觀題答案集合起來,對每道題目的得分率、各選項選擇率等進行綜合分析,則是更為高級的AI,這就涉及到數據分析的層面。

目前,用AI來評判客觀題正誤的模式,已被大多數人認可,一方面提高了閱卷效率,另一方面保證了閱卷質量。那用AI來評判主觀題的好壞,又將如何?

某年高考的作文等級評分標準

主觀題是要靠人的思維發揮來答題,以作文題為例。上圖是小編選取了某年高考的作文等級評分標準。從上表可以看出,人們將作文等級從內容、表達以及特徵三個方面將其分為一、二、三、四等。但是小編認為,假如AI參與到此類作文的評判,也就在表達部分,能夠起到最為嚴謹公正的評判。

如上文提到的阿里AI,它就可以在文本結構、語句語病以及語言流暢度方面做出比較公正的評判,在字跡方面,也可以通過算法比對考生字跡和標準字體之間的相似度進行打分。儘管阿里AI已經達到了很高的標準,但是小編還是找到了一處AI未能檢測出來的錯誤,在「然而,我的是不會放棄的」一句裡,「的」字也應標註Selection(錯字)才對。這說明AI某些語句的理解上,仍然存在一定不足。

再者,中文博大精深,一句話甚至有多種不同的理解。如何判斷考生所寫的內容是否符合題意,文章撰寫的是否有文採,對於AI來說或許都是個極大的挑戰。

其次,作文的核心是考生的表達思想,人類的感情是AI永遠學不會的。即便AI可以評判作文的文法對錯,但是它無法體會人類的喜怒哀樂,也就無法對文章內容、感情進行評判。

正所謂「文無第一,武無第二」,文學創作本來就沒有統一標準。AI閱卷容易限制考生思維,讓原本能夠展現考生才華的作文變得千篇一律。在這一點上,人工閱卷反倒更能拿捏分寸。

也有人認為,AI閱卷的出現,給老師減少了不少負擔。與人工閱卷相比,AI超快的閱卷速度能夠提高評分效率,而且在面對作文這種主觀題上,也能夠施行統一的評判標準,有效避免因人工評卷主觀性因素產生的評分差異,使作文評分機制更加合理公正。

總之,新技術的出現總是爭議不止,一千個讀者眼中有一千個哈姆雷特,對於AI閱卷是否靠譜,你怎麼看?

相關焦點

  • 阿里機器人批改作文 200字文章看出8處錯誤
    最近,在浙江外國語學院國際學院,阿里巴巴AI完成了一次考試閱卷,一篇200字的作文中找出8處錯誤。據悉,這些試卷由俄羅斯、韓國、尚比亞等6個國家的11位外國留學生完成,他們也有幸成為全球首批用AI來閱卷的學生。
  • [東方新聞]浙外引進人工智慧批改作文 200字挑出八處錯誤
    [東方新聞]浙外引進人工智慧批改作文 200字挑出八處錯誤 浙外引進人工智慧批改作文,200字挑出八處錯誤。
  • 逼學生作弊的AI閱卷老師
    例如,在「請寫一寫你的愛好」的命題作文下,一位學生提到自己的愛好是中文,並在作文中寫道:「中文的難點並非是字,而是像女朋友一樣善變。我是不會放棄的,除非中國人也放棄我才會放棄。」但事實證明,這兩句話都是病句,存在雜糅和重複的錯誤。」據悉,阿里開發這套閱卷系統的主要目的,是教外國人學中文,所以在語法方面會有嚴苛的要求。
  • 淺談「作文機器閱卷」的源由及機理。
    有些省份為了防止評卷老師閱卷過快,設置了每篇作文出卷的時間間隔。但實際上真正閱讀文章的時間仍是幾十秒,也就是說,不到一分鐘你的600-800字的作文就被老師打上了。 一般來說,60分的作文,凡是兩次獨立評卷的差異達到6分(即誤差大於10%)及以上的,必須進行三評。請注意,這6分誤差是大範圍存在的。且不說6分了,就1分在高考中也會左右一位學子的命運。
  • 知己知彼 | 考研英語閱卷的流程了解一下
    先給大家介紹一下閱卷老師是如何批閱作文的。老師在正式閱卷之前,都要事先調集不同院校的一些作文進行試評,然後從中選出5種分數檔次的作文來,我們叫它「樣板作文」。這5種檔次包括:20分、16分、12分、8分、4分和2分的樣板作文。在正式樣閱卷的時候,老師用這些「樣板作文」當作評分的參照。
  • 邊當閱卷組長邊出教輔,滿分作文背後是否有隱情?
    早前,社會各界的討論一度集中在這篇作文本身的優劣得失之上,關注的是高考作文的價值導向。但隨著越來越多的信息得以披露,社會大眾的注意力,卻逐漸被引向了事件中的「關鍵當事人」——通過評語盛讚《生活在樹上》的浙江省高考作文閱卷大組組長陳建新身上。儘管普通人此前未必聽過他的名字,但在浙江省教育界,陳建新無疑是重要權威。
  • 高考閱卷:40秒改一篇高考作文!閱卷老師到底在看什麼?
    A:高考作文是否是「草菅人命」 在回答這個問題之前,先談一談高考作文閱卷的基本流程: 標準2:文章的首段和尾段最好都點題 點題形式多樣,既可以點出完整的主題(或話題、標題),也可以點出主題的關鍵詞,還可以把主題稍作改動但保留其關鍵詞。 例如,作文《你我走過的日子》開頭:窗外的雨,淅淅瀝瀝下個不停,我原本平靜的心,泛起了漣漪。
  • 判高考作文是否存在「秒殺」?揭秘閱卷老師狀態
    閱卷老師狀態絕非一般人想像的那樣  判高考作文是否存在「秒殺」  3月23日《中國青年報》刊登了《文科高考狀元為何語文「沒考好」》一文,文中提到了高考改卷的問題:神速、馬虎、打保守分等問題。有的閱卷老師因為改卷不認真,打分不合格而被清退回家。  每天8小時,閱卷老師幾乎一直對著電腦屏幕,閱卷非常嚴謹和仔細。閱卷組機房裡,鍵盤聲嗒嗒嗒像機關槍一樣掃射個不停。質檢組的專家對每個老師的閱卷質量是全程跟蹤監控的。
  • 閱卷老師訪談:關於考研英語作文評分的9個問題
    因為作文長短不一樣,因此評分細則中的「錯誤多」和「錯誤較多」是一個相對模糊數字。一般來說,閱卷老師會根據你作文的長短和出錯的比例,還包括出錯的嚴重程度來綜合作出評價。   問題2:評分細則中對「結構和用詞錯誤」做出了明確的要求,那麼拼寫錯誤是如何要求的?
  • 平均一篇高考作文閱卷只有40秒,寫好這幾個地方,分數就不會太低
    高考中作文佔60分的分值,每年高考閱卷時,面對海量的作文考卷,老師們是無法做到每一篇作文都仔細看的,根據考生數量和閱卷時間來推斷,平均每篇作文的閱卷時間大約只有40秒左右,最多不會超過一分鐘。可能有人會說40秒?我辛辛苦苦學了12年的作文,又絞盡腦汁寫了幾十分鐘,40秒就給斷了?老師們到底看什麼,評分標準是什麼?
  • 教師資格證作文閱卷規則,你的作文能拿多少分?
    教師資格證作文閱卷規則,你的作文能拿多少分?二等作文(25-37分):符合題意、中心明確、內容較充實、感情真實、結構完整、語言通順、字跡清楚。三等作文(12-24分):基本符合題意、中心基本明確、內容單薄、感情基本真實、結構基本完整、語言基本通順、字跡潦草。四等作文(0-11分):偏離題意、中心不明或立意不當、沒什麼內容、感情虛假、結構混亂、語病多、字跡難辨。
  • 陝西省中考作文閱卷手記
    此時,閱卷老師對你的作文已經有了一個極差的印象,就會吸引老師去尋找你作文中的弊端。試想一下,分數豈能很高?雖有「二評」,但「大勢已去」,除非你的內容異常精彩。2.審題嚴謹。主要看文章的審題是否準確、角度的切入是否得當。
  • 「文言文版」高考作文,30字老師不認識,閱卷組長「翻譯」後給了滿分
    今天,我們就來介紹一片曾讓閱卷老師頭疼的高考作文,在這篇作文中有30個字連老師都不認識。 所以,在他參加高考的時候,選擇了一種獨特的方式來寫作文,那就是文言文。雖然很多考生平時背個文言文都覺得很頭疼,但是王雲飛的文言文版高考作文可謂是行雲流水。
  • 浙外引進阿里 AI 批改中文作文,5秒內指出多處語法錯誤
    在這批試卷上,阿里AI用代表不同意義的符號在試卷上,精確地圈出外國留學生們的多詞(Redundant)、缺詞(Missing)、錯詞(Selection)和詞序錯誤(Word Order)等錯誤位置,完成了對作文的批改。具體的批改如下圖所示。
  • AI閱卷老師逼學生作弊!懂了套路亂寫也能拿滿分
    AI閱卷老師,國內也有事實上,AI改卷老師,並非只有國外才有。早在2017年,阿里就推出了AI批閱中文試卷的系統,產出了「全球第一份機器人批改的作文」。據搜狐報導,在浙江外國語學院國際學院,阿里AI為來自俄羅斯、韓國等11位留學生批閱了中文試卷,「批閱一篇試卷的時間通常只需要40秒」。簡直比批閱高考作文的老師看得還快。
  • 高考閱卷「趕工期」引爭議 老師1分鐘判一篇作文
    其他科目的閱卷,雖然也有不確定性,但不會差到哪兒去,可語文就不一樣了,尤其是作文閱卷,老師手一松或一緊,往往結果就大不一樣。近日,浙江某地有參與高考閱卷的老師反映,語文閱卷速度實在太快,對學生不負責任,主觀題不少老師平均用時9秒判完,甚至一篇作文平均1分鐘判閱完成。語文試卷7天的閱卷時間,讓老師們不得不「趕工期」。  對於作文的評判,歷來受到關注。
  • 教師資格證作文閱卷規則,你的作文能拿多少分?
    教師資格證作文閱卷規則,你的作文能拿多少分?,詳細信息請閱讀下文!   二等作文(25-37分):符合題意、中心明確、內容較充實、感情真實、結構完整、語言通順、字跡清楚。   三等作文(12-24分):基本符合題意、中心基本明確、內容單薄、感情基本真實、結構基本完整、語言基本通順、字跡潦草。   四等作文(0-11分):偏離題意、中心不明或立意不當、沒什麼內容、感情虛假、結構混亂、語病多、字跡難辨。
  • 不要忽視考研英語作文書寫,電腦閱卷直接影響得分
    現在都是網上閱卷,老師坐在電腦前,看到的都是屏幕上呈現的文字,基本就像是瀏覽電子書,如果考生的字體比較難看,那麼閱卷老師在閱卷時,會產生疲勞。閱卷是這樣的閱卷其實非常辛苦。電腦閱卷甚至比紙質更煎熬。想像一下,一個人要坐在電腦面前近一周,每天都要批改差不多2千份英語作文。
  • 揭秘閱卷「規則」,教你如何寫好申論大作文
    在此,所傳達出的直觀信息為:要想成功入面,必須拿下申論大作文!在往期的技巧文章中,老師曾與同學們分享過如何書寫文章開頭、如何謀篇布局等等,今天,我們將根據申論閱卷實錄,告訴大家在書寫大作文時應該重點關注哪些內容。
  • 仝卓手寫道歉信,200字就有8處錯誤,他是怎麼考上中戲的?
    許多網友就開始來對他的道歉信作出了分析,細心的網友就從仝卓的這封道歉信的字數來開始做理解,全文200多字,被網友發現了多大8處的常見錯誤,這也是很多明星也會犯的錯誤。而且仝卓全文只是在道歉,文字沒有提到過他自己當初的舞弊行為,那麼不承認自己犯錯的點,態度不是那麼認真,讓不少網友都在懷疑仝卓先生的誠意。