科大訊飛機器智能閱卷技術實現機器批改作文

2020-12-15 中國軟體網

閱卷是老師教學工作中,非常重要的一環,同時也十分耗時耗力。隨著科技的發展,機器可以協助我們進行數據計算、體力勞動等工作。

那麼,「閱卷」是不是也可以由機器代勞呢?

答案是肯定的。

目前,科大訊飛機器智能閱卷技術已經在安慶、合肥等地成功試點應用。經過對人機評分結果的分析,計算機在評分一致率、平均分差、相關度以及與仲裁分更接近的比例等指標方面都已達到或超過人工評分水平。這意味著,讓機器評閱主觀題已不再是空想。其中最讓人眼前一亮的,是哈工大訊飛聯合實驗室研發的語文作文評分技術。

批閱主觀題的可能性

我們知道,幾乎所有的考卷都包含兩個部分,客觀題、主觀題。在有了答題卡,掃描儀後,客觀題可以全部由機器批閱,閱卷速度大大提升,且更加準確。

可是面對主觀題,機器也能替代人腦來思考嗎?

答案是肯定的。自20世紀60年代以來,國外許多專家和學者就致力於主觀題的機器閱卷技術研究,也出現了各種不同的自動批改系統。比如美國的MBA、託福考試中就應用了E-rater系統等。

但是,不管是E-rater還是國內的一些研究,大部分針對的都是第二語言作文,即非母語作文。非母語作文的特點是,學生的錯誤大多是一些基礎性的拼寫、語法方面的初級錯誤,這些錯誤是比較容易確立一個規則並讓機器執行和批閱。

要想機器閱卷技術真正普及並為閱卷工作帶來便利,無法迴避的一個難關就是:批閱學生用母語寫的作文。

與第二語言作文不同,中學生母語作文中基本很少犯語言基礎性錯誤,需要在更高層次,比如作文的文採、篇章的銜接、作文立意等方面做出評判。

那麼面對這些主觀性很強的文本,我們應該從哪些維度去評判,又如何去量化這些維度呢?

機器憑什麼給我們打分?

要回答這個問題其實也不難,我們可以先想想:老師是怎麼為我們的中高考作文進行評分的呢?

首先,他們有一套嚴格的標準。

中高考閱卷中,全國的老師都是以一套統一的、嚴格的標準為基準來進行評分的。同理,想讓機器批閱作文,最重要的也是讓機器學到這套標準,然後按標準批閱。

以本次應用在語文試卷批閱中的訊飛作文評分系統為例。教師們設置了一套通用的從字跡工整度、詞彙豐富性、句子通順度、文採、篇章結構、立意等多個層次綜合評估一篇作文質量的解決方案。哈工大訊飛聯合實驗室的研究人員則讓機器來學習這套方案,利用機器學習算法從少量人工評分的樣本中學習獲得作文評分標準。

這每一項標準背後都需要複雜、精密的技術來支持。比如要判斷字跡工整度,則需要用到手寫識別技術,我們可以在自動將圖片中手寫體字轉寫為文本的同時,給出識別概率,來表示工整度。

再比如,判斷一篇作文是否離題,首先需要根據題目內容提取關鍵詞,並根據主題進行擴展,同時提取作文的關鍵詞,計算作文的關鍵詞和題目的關鍵詞的相似度。

另外,也可以在本次考試的大規模數據上訓練主題模型,得到全局的主題分布,然後和待考察作文的主題分布對比。詞彙豐富性和立意屬於內容相關的特徵;字跡工整度、局部連貫性、句法正確性和篇章結構屬於表達相關的特徵;文採屬於發展等級特徵。

除了上述特徵外,我們還利用人工神經網絡對作文的語義進行深度表示,從而得以從宏觀上把握文章的立意。

通過從這一系列複雜、精密的技術支持,「機器老師」便能夠為學生評分了。

機器閱卷技術的未來

未來,隨著人工智慧技術的發展,除了開放式作文、甚至政史地問答題等試題的批閱中,機器都可以自動閱卷。機器可以自動學習教師的閱卷方法。比如一次考試有2000份卷子,從第一份卷子開始,機器就可以學習教師的閱卷方法,學到200份的時候機器就可以代替人工,自動對剩下的試卷進行智能化打分。

如果全自動機器閱卷變成現實,「閱卷」這件需要教師們投入大量人力物力才能完成的事將變得輕鬆,教師們將會有更多的時間和精力被解放出來,投入到對教學方法、教學手段等創造性工作的研究中,相信學生們也會因此獲得更好、更全面的教育。

這樣的未來,你期待嗎?

哈工大訊飛聯合實驗室背景介紹

哈工大訊飛聯合實驗室成立於2014年9月,實驗室主任由哈工大劉挺教授擔任,副主任由科大訊飛胡國平博士擔任。

哈工大訊飛聯合實驗室是「訊飛超腦」計劃中的核心研發團隊之一,致力於在語言認知計算領域長期、深入的技術創新,目前重點研究的前瞻課題包括類人答題、作文評閱、語音轉寫等,作文自動評分是聯合實驗室在過去一年中最重要的研發成果。





免責聲明:

本站系本網編輯轉載,會儘可能註明出處,但不排除無法註明來源的情況,轉載目的在於傳遞更多信息,並不代表本網贊同其觀點和對其真實性負責。如涉及作品內容、版權和其它問題,請在30日內與本網聯繫, 來信: liujun@soft6.com 我們將在收到郵件後第一時間刪除內容!

[聲明]本站文章版權歸原作者所有,內容為作者個人觀點,不代表本網站的觀點和對其真實性負責,本站擁有對此聲明的最終解釋權。

相關焦點

  • 科大訊飛機器智能閱卷實現機器批改作文
    閱卷是老師教學工作中,非常重要的一環,同時也十分耗時耗力。隨著科技的發展,機器可以協助我們進行數據計算、體力勞動等工作。  那麼,「閱卷」是不是也可以由機器代勞呢?  答案是肯定的。  目前,科大訊飛機器智能閱卷技術已經在安慶、合肥等地成功試點應用。
  • 科大訊飛認知智能持續突破,機器閱讀理解SQuAD測試勇奪第一!
    訊飛提出的基於交互式層疊注意力模型,主要思想是根據給定的問題對篇章進行多次的過濾,同時根據已經被過濾的文章進一步篩選出問題中的關鍵提問點。這樣「交互式」地逐步精確答案的範圍,與其他參賽者的做法不太相同,最終收穫了令人矚目的成績。科大訊飛認為,人工智慧的發展主要分為運算智能、感知智能和認知智能。
  • 科大訊飛機器閱讀理解技術再次登頂SQuAD挑戰賽
    科大訊飛與哈工大聯合實驗室參賽提交系統一覽機器閱讀理解技術目前已經成為多家知名企業、高校等研究機構關注的對象,技術上的突破將帶來自然語言理解的長足進步。在與其他研究機構和高校一同探索技術發展的同時,科大訊飛也在積極推動該項技術在對話、問答系統中的落地應用,其中一個重要場景就是與智能車載系統的對話交互的結合,逐步實現汽車領域的精準問答。
  • 賦能上海|科大訊飛劉慶峰:英語機器同傳將達到專八水平
    熱烈祝賀世界人工智慧大會在上海隆重召開……」科大訊飛創始人、董事長劉慶峰用一段語音合成的新聞聯播來開啟他在2018世界人工智慧大會上的演講。作為語音交互技術上的領頭羊,科大訊飛目前實現了大學六級口語水平的英語語音到語音機器翻譯。劉慶峰透露,按照目前的發展速度,科大訊飛的產品將在明年上半年達到專業八級的水平,為業界首家。
  • 科大訊飛:5年內 科技會場沒機器人端茶倒水就太low了
    而在人工智慧的三個層次——計算智能、感知智能和認知智能之中,前兩者機器的能力已經超越人類,讓機器實現認知智能是目前人工智慧科研的焦點,這也是人區別於動物的最本質能力。而從人類自身的發展來看,產生認知智能的標誌是語言的廣泛使用。所以,在第三次人工智慧浪潮中,世界上眾多的科學家都不約而同地從「自然語言理解」這個研究方向上,尋找人工智慧的突破口,即從語音與語言入手實現機器的認知革命。
  • 科大訊飛機器翻譯系統挑戰大學英語六級考試 成績被評為優秀
    央廣網合肥12月18日消息(通訊員張沛、劉輝)12月18日下午,合肥師範學院一間特殊的考場內,「考生」是科大訊飛一套機器翻譯系統。  它一連考了三道翻譯題,每道題滿分15分,它得到13分的均分。  考題來自三天前結束的大學英語六級考試,評分的是兩位具有六級閱卷經驗的高校資深專家,「這套機器翻譯系統的表現讓我們驚喜,翻譯得很地道。」
  • 科大訊飛陷翻譯造假 機器翻譯還有多遠?
    2018世界人工智慧大會剛落幕,科大訊飛卻陷入了「AI同傳造假」的風波。9月20日,一位同傳譯員在知乎上發文稱,在上海的一場會議中,訊飛的翻譯其實為人工同傳,並非機器智能翻譯,並且譯文由機器進行朗讀。對此,9月21日,科大訊飛的回覆是,「科大訊飛從來沒有把同傳翻譯包裝成機器翻譯。」9月21日,科大訊飛董秘、高級副總裁江濤接受21世紀經濟報導記者採訪時說道:「儘管機器翻譯獲得發展,明年能達到英語專業8級的水平,但依然沒辦法代替同傳。科大訊飛沒有提到AI同傳,並沒有造假吹牛,目前的情況是一個誤會。」
  • 從智能語音、圖文識別到認知智能 科大訊飛:用AI技術啃最難啃的...
    除了在醫學領域落地,科大訊飛還將這種認知智能的前沿技術,應用到教育、法律行業。科大訊飛的閱卷機器人,能在閱卷老師批改完之後進行二次閱卷,如果與老師給的分差較大,會自動發起重新閱卷申請。司法機器人則能夠輔助審判複雜案件,提升審判質效。
  • 科大訊飛陷AI同傳造假疑雲:從機器朗讀到機器翻譯還有多遠?
    2018世界人工智慧大會剛落幕,科大訊飛卻陷入了「AI同傳造假」的風波。  9月20日,一位同傳譯員在知乎上發文稱,在上海的一場會議中,訊飛的翻譯其實為人工同傳,並非機器智能翻譯,並且譯文由機器進行朗讀。
  • 透視科大訊飛「同傳造假」:機器翻譯之困
    近日,人工智慧語音領域領軍企業科大訊飛(002230.SZ)被曝出「同傳造假」,科大訊飛官方回應這是由於與同傳譯員溝通不足造成的誤會。  據悉,引發此次事件是在2018創新與新興產業發展國際會議上,該會議曾以「機器翻譯」作為宣傳,科大訊飛官方最近解釋稱這種方式是「人機耦合」,並承認機器翻譯仍難以代替人工。  物聯網資深專家楊劍勇對《中國經營報》記者表示,科大訊飛提出人機耦合背後,是智能(機器)翻譯技術相對語音識別技術難度更大。  近年來,隨著AI的熱度遞增,機器翻譯也呈現出爆發之勢。
  • 科大訊飛陷AI同傳造假疑雲:機器翻譯還有多遠?
    9月20日,一位同傳譯員在知乎上發文稱,在上海的一場會議中,訊飛的翻譯其實為人工同傳,並非機器智能翻譯,並且譯文由機器進行朗讀。這容易讓觀眾產生「都是人工智慧翻譯」的錯覺,而忽略背後同傳譯員們的勞動成果。對此,9月21日,科大訊飛的回覆是,「科大訊飛從來沒有把同傳翻譯包裝成機器翻譯。」
  • 科大訊飛AI同傳造假?你以為是機器在同傳,其實是人工……
    9月20日,一位同傳譯員在知乎上發文稱,在上海的一場會議中,訊飛的翻譯其實為人工同傳,並非機器智能翻譯,並且譯文由機器進行朗讀。對此,9月21日,科大訊飛的回覆是,「科大訊飛從來沒有把同傳翻譯包裝成機器翻譯。」
  • 再發「最強音」,科大訊飛喜獲國際口語機器翻譯評測大賽冠軍
    再發「最強音」,科大訊飛喜獲國際口語機器翻譯評測大賽冠軍 繼斬獲今年八項「世界第一」之後,科大訊飛再度發力,在剛剛結束的 2018 年國際口語機器翻譯評測比賽中,科大訊飛在英德方向語音翻譯任務端到端模型比賽中
  • 科大訊飛陷AI同傳造假疑雲:機器朗讀到翻譯還有多遠?
    9月20日,一位同傳譯員在知乎上發文稱,在上海的一場會議中,訊飛的翻譯其實為人工同傳,並非機器智能翻譯,並且譯文由機器進行朗讀。   這容易讓觀眾產生「都是人工智慧翻譯」的錯覺,而忽略背後同傳譯員們的勞動成果。對此,9月21日,科大訊飛的回覆是,「科大訊飛從來沒有把同傳翻譯包裝成機器翻譯。」
  • 一文看懂我國機器翻譯發展情況及BAT、科大訊飛等機器翻譯格局分析
    2.阿里巴巴阿里機器翻譯是基於阿里巴巴海量電商數據並結合機器學習、自然語言處理技術,實現多語言語種識別與自動翻譯功能,為跨境電商信息本地化與跨語言溝通上提供精準、快捷、可靠的在線翻譯服務,其宗旨是「讓商業沒有語言障礙」。
  • 科大訊飛總裁:五年後95%的人英語應用水平或不及機器
    科大訊飛執行總裁吳曉如表示,現在機器很難替代老師,但是現有的很多老師如果不進行改變的話,可能未來還是會被替代掉,做更好的老師,也要看他如何更好地培養未來的人才,怎麼更好地和現有的技術去融合。科大訊飛執行總裁吳曉如人工智慧+教育的時代需求:輸出的教學服務要能和學校結合起來從整個教育行業來說,面向未來的網際網路、面向未來的人工智慧時代。現在大家經常會提到,一些簡單的技能型的工作,未來會大量地被替代掉。
  • 科大訊飛:現階段人工智慧技術發展不需要「被神化」
    新華社天津6月30日電(記者付光宇)近日,幾篇關於翻譯、同傳的文章刷爆網絡,「同聲傳譯職業即將消亡」「機器翻譯技術將完全替代同傳」等觀點引發關注。網友驚呼:「我們還在評價臺上的女翻譯漂不漂亮的時候,同聲傳譯這個職業,說不在就不在了……」  對此,科大訊飛董事長劉慶峰30日在參加世界智能大會接受記者採訪時表示,用人工智慧建設美好世界,這是大家共同的期待,也是科大訊飛一向秉持的價值觀。「然而,我們也擔心,如果對還在發展中的新技術過度神化,可能會對大眾造成錯誤的引導,不利於產業生態持續健康發展。」
  • 訊飛翻譯機機器翻譯系統挑戰六級翻譯 成績優秀
    六級考試每次通過率只有30%左右,這位特殊的考生正是訊飛翻譯機2.0搭載的科大訊飛機器翻譯系統。特殊的六級考生,優秀的成績回到今年的考試現場,12月18日下午,合肥師範學院一間特殊的考場內,考官分別打開三道考題,由人工將考題輸入電腦,隨後科大訊飛的機器翻譯系統進行作答,每道題不到2秒便作答完畢。最終科大訊飛機器翻譯系統拿下13分的優秀成績。
  • 科大訊飛2016年報:技術國際領先 業務全面開花
    作為國內智能語音和人工智慧產業的領導者,2016年,科大訊飛持續保持智能語音及人工智慧核心技術國際領先,同時在各重點行業市場和應用產品中,率先把人工智慧技術落地應用,源頭技術驅動的戰略布局成果正在不斷顯現。
  • 「機器翻譯」技術到底有哪些現實應用?
    為了實現這一夢想,以IBM、谷歌、微軟、科大訊飛為代表的國內外科研機構和企業均相繼成立機器翻譯團隊,專門從事智能翻譯研究,矢志打破語言障礙。  IBM從2001起就開始大規模開展該領域的研究,並在英語、阿拉伯語和中文之間的互譯領域進行重點投入。2009年9月IBM正式推出了ViaVoice Translator機器翻譯軟體。