翻車了!2萬所美國院校都在用的AI閱卷系統,只要複製原文「關鍵詞...

2020-12-13 雷鋒網

最近,美國一家知名教育平臺登上了Reddit熱搜。

原因是有家長爆料,該公司旗下的AI閱卷系統存在重大漏洞,學生只要在答題區寫上零散的「關鍵詞」就能輕鬆拿高分。

在事後採訪中,一位匿名學生稱,

如果不是閱卷系統的的漏洞,我不會通過代數2考試,我只是把與問題相關的關鍵詞填了上去,我相信老師們已經發現,但他們沒有做任何處理。

據了解,這款AI閱卷系統搭載於虛擬學習平臺Edgenuity,目前已服務了2萬所美國院校。

而這位爆料者名為達娜·西蒙斯(Dana Simmons),是加州大學河濱分校的歷史系副教授。

她之所以發現AI評分系統漏洞是因為他的學霸兒子在歷史測評中只拿到了50%的成績。

隨便寫寫就能拿高分

拉扎爾(Lazare)是一名高中生,他剛剛在Edgenuity平臺完成了歷史考試測評,滿分100,他只拿到了50分,這顯然與平時成績相差很多,他很傷心。

一開始,Simmons還試圖安慰他,也許這次的閱卷的老師比較嚴格。不過,Lazare稱,老師並沒有看他的答案,提交試卷不到一分鐘,成績就出現了。

Simmons知道,這應該是系統算法自動評分,隨後他看了兒子的考試試卷,似乎並沒有什麼大的問題。於是,她決定用一道歷史題測試一下系統的評分規則,結果讓她大跌眼鏡。

題目是這樣的:君士坦丁堡的地理位置如何幫助拜佔庭帝國變得富有和繁榮?

它位於愛琴海和黑海之間,是商船和乘客的集散地。它也正處於歐洲和小亞細亞之間,這使它成為一個巨大的貿易中心,而且在當時的許多貿易路線。利潤、多樣化、西班牙、中國、印度、非洲。

Simmons稱,她只是寫了兩個相關的長句,然後又往上堆疊了一些不連貫的關鍵詞,比如財富、印度、中國、中東。但這種拼湊的「單詞沙拉(Word Salad)」形式,系統卻給了她滿分。

原來根據該公司官網顯示,系統的的評分規則是,如果某些問題的答案不包括關鍵字,系統會判定為0分,如果至少包含一個關鍵字,則為100分。 而其他的問題根據包含的關鍵字數量獲得一定的百分比。

按關鍵詞評分不失為一種好的方式,但只是按照關鍵詞,顯然會出現明顯失誤。

隨後,Simmons在社交平臺Twitter上,公開指責Edgenuity公司,稱其AI算法漏洞不利於教育公平,引起很多網友的關注和支持。

對此,Edgenuity公司做出回應稱,AI系統評分只是作為參考,老師有權對其進行修改。

Edgenuity不會使用算法代替老師評分,只是為老師提供評分指導。老師有能力接受或否決建議的分數,AI不會決定學生的課程成績。

不過,這一回應也是分分鐘打臉。

在事後採訪中,Lazare的一位同學表示,老師確實可以重新查看學生的試卷,並給出最終的得分。但他認識的大多數同學都表示,從未見過老師更改Edgenuity分配的成績,儘管聽說有同學使用「單詞沙拉」的方法獲取高分。

「如果老師在看答案,他們根本不在乎」。

「我整個學期都靠它」

重要的是,Simmons並不是最早發現Edgenuity存在評分漏洞的的人。

一位已經畢業的高中生奧斯丁·帕拉迪索(Austin Paradiso)表示,他在高中期間曾多次使用Edgenuity平臺進行考試,雖然不喜歡「關鍵詞沙拉」,但這種方式確實有助於得高分,而且100%有效。

據了解,Edgenuity是美國知名在線虛擬教育機構,已成立二十多年,其提供的K12教育服務已廣泛用於2萬多所院校,而這一服務就包括Edgenuity平臺內置的AI評分系統。

另外,由於今年受疫情影響,大多數美國學校都轉向了線上授課模式,其教學和評分服務業也選擇外包給虛擬教育平臺,Edgenuity是其中收到合同最多的一個。

據統計,Edgenuity公司為初中生和高中生提供了300多個在線課程,涉及從數學到社會研究的各個領域。這些課程由教學視頻、虛擬作業,以及在線考試組成。Edgenuity在其中負責課程提供和作業評分。

而經過多次考試,很多學生都已經摸透了系統的評估方法。

一位學生說,當他不會做的時候,會嘗試提交與問題相關的成批關鍵詞,這種方法通常都會奏效。

還有另外一位同學表示,他們會截取原文中的關鍵詞粘貼到答題區,在整個上學期都使用了這個技巧。並且每次都能獲得不低的分數。

另外,在4個月前,還有學生公然在Reddit上發布帖子,詢問如何利用Edgenuity作弊。

在老師不知情的情況下,如何成功欺騙Edgenuity?我發現你們可以輕鬆地找到所有答案,我想知道是如何做到的,是否會花時間回答每個問題?

帖子下方聚集了很多同學評論,分享在線作弊技巧。其中一位學生表示,幾乎每一次Edgenuity平臺考試都會作弊。

此次Simmons的揭發對Edgenuity造成了不小影響,已家長公開反對學校使用該虛擬平臺,並表示不希望技術影響孩子成績。

AI閱卷,你怎麼看?

AI技術參與到考試測評系統中似乎是一種必然的趨勢。在國內已經有很多相關研究,而且一些技術已經開始逐步走向落地階段。

阿里巴巴於近日發起的百萬獎金數學挑戰賽,便聲稱由其自主研發的AI擔任輔助閱卷老師。

不過,關於AI閱卷的標準性和公平性一直備受爭議。

對於有標準答案的客觀題來說,AI的評分能力毋庸置疑,而且對於一些基礎的識別錯字能力,AI也有不錯的表現,比如在2017年阿里舉辦的AI作文評分測試中,AI僅用十幾秒,就在一篇200字的作文中的找出了8個錯別字。

顯然,AI在提高閱卷效率,減少老師壓力方面發揮了不少作用。但對於一些開放式試題,比如作文,AI閱卷則產生了不同的爭議。

有人認為,AI閱卷可以避免主觀偏見,在文本結構、語言表達方面形成統一的標準,而且其海量的文章儲備,也會高於人類老師的評分水平。

但也有人表示,AI判分過於刻板,如上文中的Edgenuity平臺,開放式題目表達是考生的核心思想,人類的情感表達是AI無法按照對錯來評判的。

對此你怎麼看呢?

引用連結:雷鋒網雷鋒網雷鋒網

https://www.theverge.com/2020/9/2/21419012/edgenuity-online-class-ai-grading-keyword-mashing-students-school-cheating-algorithm-glitch

https://www.reddit.com/r/edgenuity/comments/gbmx2l/how_do_i_successfully_cheat_on_edgenuity_without/

https://help.edgenuitycourseware.com/hc/en-us/articles/360042418854-Auto-Grading-Method-Comparison

相關焦點

  • AI閱卷「翻車」 不同AI評分系統結果相差甚遠
    開學季,美國一款號稱服務兩萬所學校的AI閱卷系統遭到質疑,學生們只要藉助系統漏洞,輸入相應關鍵詞,即使關鍵詞之間並無關聯,也能輕易獲得高分。隨著人工智慧的發展,不少教育App都應用了智能評分系統,評分系統閱卷迅速,及時出分,受到不少師生的歡迎。
  • 逼學生作弊的AI閱卷老師
    2萬所學校的AI教學平臺翻車了,利用它的漏洞去「裸考」就能輕鬆及格,簡直就是「學渣福音」。超過2萬所美國學校在用那麼,這家生產「人工智障」的公司Edgenuity,究竟是什麼來頭?2011年,Edgenuity以5000萬美元被Weld North收購後,目前已經有超過2萬所學校使用這個教學平臺,包括全美排名前25的學區中的20個。
  • AI閱卷老師逼學生作弊!懂了套路亂寫也能拿滿分
    最近,一個號稱服務於美國2萬所學校的AI教學平臺翻車了,利用它的漏洞去「裸考」就能輕鬆及格,簡直就是「學渣福音」。也就是說,Edgenuity必須和人類教師結合,需要人類幫忙在線監考、審核閱卷結果,這樣才能發揮其功效。顯然,美國的一些教師偷懶了。超過2萬所美國學校在用那麼,這家生產「人工智障」的公司Edgenuity,究竟是什麼來頭?
  • 人工智慧閱卷「翻車」 其實是「翻」在了自然語言處理
    開學季,美國一款號稱服務兩萬所學校的AI閱卷系統遭到質疑,學生們只要藉助系統漏洞,輸入相應關鍵詞,即使關鍵詞之間並無關聯,也能輕易獲得高分。隨著人工智慧的發展,不少教育App都應用了智能評分系統,評分系統閱卷迅速,及時出分,受到不少師生的歡迎。但同時,也有不少家長吐槽智能評分系統,像英語跟讀App的評分系統,有時候即使擁有英語專業八級水平的人,測試得分也只有80分。除了應用於英語口語的智能評分系統,人工智慧還被應用於判卷上。不過這種智能閱卷系統也時有「翻車」現象。
  • 這位美國的AI閱卷老師,讓學生放心地在考試中作弊
    事發經過一位美國七年級的學生在網絡考試中成績不理想,他向他的程式設計師媽媽Dana求助。媽媽看了他的答案,覺得兒子的答案寫得挺好的,於是媽媽安慰她說,一定是閱卷老師太嚴格了,所以給的分數就不高,如果是這樣的話,所有同學的分數都不高。
  • 美國學校開始用AI智能對試卷打分 學渣們完成逆襲拿高分
    試想下如果你的考試卷都用AI系統來打分了,會是怎樣的情況呢?據外媒報導稱,美國一家知名教育平臺近日登上了Reddit熱搜。原因是有家長爆料,該公司旗下的AI閱卷系統存在重大漏洞(虛擬學習平臺Edgenuity,目前已服務了2萬所美國院校),學生只要在答題區寫上零散的「關鍵詞」就能輕鬆拿高分。
  • 新增15所高校閱卷結束!英語閱卷傳來新消息!
    是不是每次聽到閱卷、分數、國家線的消息都是緊張到手心冒汗?先不用太擔心,大概率咱們還是能過個好年!前兩天小編給大家整理了不少閱卷的消息了,這不前方又傳來新的消息!近日,一考研界老師在微博中透露「北京地區英語閱卷已經結束,英語一作文寫傳統文化的基本都低於平均分」在評論中回復大家
  • 美國在線教育平臺存在漏洞 學生拼湊關鍵詞就能得高分
    來源:環球網【環球網科技綜合報導】9月8日消息,據外媒報導,一款美國在線教育平臺Edgenuity近日被曝光存在漏洞,學生在系統上考試時隨意拼湊一些關鍵詞就能取得高分。據了解,一位美國家長達娜·西蒙斯(Dana Simmons)在社交平臺表示,她就讀七年級的兒子拉扎爾(Lazare)在一次線上歷史考試中取得了50分,而這次考試的滿分為100分。隨後,她通過測試發現,兒子使用的Edgenuity平臺在閱卷時通過尋找特定的關鍵詞給分。只要寫下幾個與題目相關的關鍵詞再隨意頻奏在一次,她就可以得到滿分。
  • 【1.30日免費資料】新增15所高校閱卷結束!英語閱卷傳來新消息!
    近日,一考研界老師在微博中透露「北京地區英語閱卷已經結束,英語一作文寫傳統文化的基本都低於平均分」在評論中回復大家1、只要寫有中文,一般老師不論文字質量如何,會給0.5分;2、句子比較通順,基本表達原文的意思,可以給1分;提醒同學們哪怕在翻譯時不知道個別單詞的含義,只要能連起來通順,也會比空著翻譯不通強得多。有些動詞、形容詞是可以進行「改造」的。3、若表達很流暢,基本無語言錯誤,給1.5分以上;4、但想得到滿分很難,閱卷老師為了穩妥起見,不會給太多滿分。
  • 答案一竅不通但能得滿分,美國的AI評卷系統神了
    大家應該都有過這個經歷,上學時遇到不會的題,老師會讓你隨便寫幾句,也許老師心情好會給你一個步驟分。不過,對於美國的娃來說,這樣幹不知道老師會不會給分,但他們知道在AI線上評卷系統這樣答題會真的給滿分。近日,有一位美國家長Dana發現,她讀七年級的兒子在上網課時,心態突然爆炸了。
  • 隨便寫點關鍵詞就能拿滿分,當學生發現是被AI打分時,他們如何作弊?
    其實,只要仔細想一下,與此相關的可能關鍵字是什麼?財富,商隊,船舶,印度,中國,中東,只要把所有這些詞兒都扔進去句子裡就好了。」Lazare告訴The Verge :「我想賭一把是因為,我覺得這是獲得好成績的一種簡單的手段。」 他通常從問題所依據的文章或視頻中挖掘關鍵詞。
  • 國在線教育平臺Edgenuity存在漏洞 學生拼湊關鍵詞就能得高分
    國在線教育平臺Edgenuity存在漏洞 學生拼湊關鍵詞就能得高分 2020-09-09 09:55:06 來源:環球網 據外媒報導,一款美國在線教育平臺Edgenuity近日被曝光存在漏洞,學生在系統上考試時隨意拼湊一些關鍵詞就能取得高分。
  • 實錘了:「AI 翻車」事件已超1000+,特斯拉,微軟、谷歌、蘋果等全部...
    不過,並非所有科技大佬都對AI持悲觀態度,貝索斯(Bezos)、扎克伯格(Zuckerberg)等人都抨擊過馬斯克的AI威脅論。扎克伯格認為,AI技術的推動是為了讓世界運轉的更高效,幫助人們生活得更美好。話雖沒錯,但馬斯克的擔憂也並非空穴來風。
  • 網上閱卷系統的研發者張輝:為孩子再上一把鋒利的斧頭!
    張輝笑道,「只要你勤快,老天都會眷顧你。」這蒼勁有力的筆法之後,見證著張輝幾十年如一日的努力。因患有脊柱側彎症,張輝只有150cm高。中專畢業後,他憑藉著優異的成績就職于衡水市總工會。兩年後,在別人詫異的目光中,這個「不安分」的小個子毅然決然告別鐵飯碗,選擇了自主創業。網上閱卷系統,就是張輝親手打造的第一個產品。
  • 主觀題閱卷規則!
    2016年下半年,教育部委託浙江師範大學、山東師範大學、四川師範大學、西南大學4個評卷點作為評卷院校。所以不是各省負責自己省份的閱卷,而是全國範圍內統一指定評卷點。閱卷老師由負責評卷的省份在全省範圍內選聘,主要從師範院校中推薦。
  • 實錘了:「AI 翻車」事件已超 1000+,特斯拉,微軟、谷歌、蘋果等...
    不過,並非所有科技大佬都對 AI 持悲觀態度,貝索斯(Bezos)、扎克伯格(Zuckerberg)等人都抨擊過馬斯克的 AI 威脅論。扎克伯格認為,AI 技術的推動是為了讓世界運轉的更高效,幫助人們生活得更美好。話雖沒錯,但馬斯克的擔憂也並非空穴來風。
  • 公共課閱卷結束,2021考研最新閱卷情況
    公共課閱卷由省考試院組織批閱,但是通常都會選擇當地的重點大學進行。北京地區的政治統考的閱卷工作由北京大學來完成。據北京大學的老師提供消息,今年考研閱卷原本要到25日才結束,但是24日下午閱卷老師已經將31萬試卷批閱結束了。
  • 美國家長發現AI教學平臺漏洞,「學渣福音」頓時被戳破
    導語:近日,一位美國家長Simmons發現在自己上七年級的孩子,因一道歷史題得了50分,這意味著他必須把剩下的題目都答對,才能通過。歷史題目是:「君士坦丁堡的地理位置對拜佔庭帝國的力量有何優勢?」孩子的回答基本沒有問題,所以Simmons一開始以為老師批卷子過於嚴苛。
  • 36氪首發 | 從智能閱卷系統切入K12教育,「七天網絡」獲近 2 億...
    從 2013 年創立以來,七天網絡已經開發了智能閱卷系統、教師評閱系統、新高考教務管理系統等系列產品,支持從多個維度生成可視化數據圖表和考試分析報告,服務學校的教學研究和老師的精準授課。整套 SaaS 系統的年費在 5 - 10 萬之間,根據考試頻率和人數而定。
  • 一位美國家長發現AI教學平臺漏洞,「學渣福音」頓時被戳破
    美國家長Simmons發現AI教學平臺漏洞Simmons意識到,AI教育平臺很有可能採取的是根據關鍵詞來評分。於是,Simmons在孩子的作業回答中加入毫無邏輯的「財富、商隊、中國、印度」四個單詞,結果意外發現,這道題得了滿分。