科大訊飛機器智能閱卷實現機器批改作文

2020-12-15 IT168

  閱卷是老師教學工作中,非常重要的一環,同時也十分耗時耗力。隨著科技的發展,機器可以協助我們進行數據計算、體力勞動等工作。

  那麼,「閱卷」是不是也可以由機器代勞呢?

  答案是肯定的。

  目前,科大訊飛機器智能閱卷技術已經在安慶、合肥等地成功試點應用。經過對人機評分結果的分析,計算機在評分一致率、平均分差、相關度以及與仲裁分更接近的比例等指標方面都已達到或超過人工評分水平。這意味著,讓機器評閱主觀題已不再是空想。其中最讓人眼前一亮的,是哈工大訊飛聯合實驗室研發的語文作文評分技術。

  批閱主觀題的可能性

  我們知道,幾乎所有的考卷都包含兩個部分,客觀題、主觀題。在有了答題卡,掃描儀後,客觀題可以全部由機器批閱,閱卷速度大大提升,且更加準確。

  可是面對主觀題,機器也能替代人腦來思考嗎?

  答案是肯定的。自20世紀60年代以來,國外許多專家和學者就致力於主觀題的機器閱卷技術研究,也出現了各種不同的自動批改系統。比如美國的MBA、託福考試中就應用了E-rater系統等。

  但是,不管是E-rater還是國內的一些研究,大部分針對的都是第二語言作文,即非母語作文。非母語作文的特點是,學生的錯誤大多是一些基礎性的拼寫、語法方面的初級錯誤,這些錯誤是比較容易確立一個規則並讓機器執行和批閱。

  要想機器閱卷技術真正普及並為閱卷工作帶來便利,無法迴避的一個難關就是:批閱學生用母語寫的作文。

  與第二語言作文不同,中學生母語作文中基本很少犯語言基礎性錯誤,需要在更高層次,比如作文的文採、篇章的銜接、作文立意等方面做出評判。

  那麼面對這些主觀性很強的文本,我們應該從哪些維度去評判,又如何去量化這些維度呢?

  機器憑什麼給我們打分?

  要回答這個問題其實也不難,我們可以先想想:老師是怎麼為我們的中高考作文進行評分的呢?

  首先,他們有一套嚴格的標準。

  中高考閱卷中,全國的老師都是以一套統一的、嚴格的標準為基準來進行評分的。同理,想讓機器批閱作文,最重要的也是讓機器學到這套標準,然後按標準批閱。

  以本次應用在語文試卷批閱中的訊飛作文評分系統為例。教師們設置了一套通用的從字跡工整度、詞彙豐富性、句子通順度、文採、篇章結構、立意等多個層次綜合評估一篇作文質量的解決方案。哈工大訊飛聯合實驗室的研究人員則讓機器來學習這套方案,利用機器學習算法從少量人工評分的樣本中學習獲得作文評分標準。

  這每一項標準背後都需要複雜、精密的技術來支持。比如要判斷字跡工整度,則需要用到手寫識別技術,我們可以在自動將圖片中手寫體字轉寫為文本的同時,給出識別概率,來表示工整度。

  再比如,判斷一篇作文是否離題,首先需要根據題目內容提取關鍵詞,並根據主題進行擴展,同時提取作文的關鍵詞,計算作文的關鍵詞和題目的關鍵詞的相似度。

  另外,也可以在本次考試的大規模數據上訓練主題模型,得到全局的主題分布,然後和待考察作文的主題分布對比。詞彙豐富性和立意屬於內容相關的特徵;字跡工整度、局部連貫性、句法正確性和篇章結構屬於表達相關的特徵;文採屬於發展等級特徵。

  除了上述特徵外,我們還利用人工神經網絡對作文的語義進行深度表示,從而得以從宏觀上把握文章的立意。

  通過從這一系列複雜、精密的技術支持,「機器老師」便能夠為學生評分了。

  機器閱卷技術的未來

  未來,隨著人工智慧技術的發展,除了開放式作文、甚至政史地問答題等試題的批閱中,機器都可以自動閱卷。機器可以自動學習教師的閱卷方法。比如一次考試有2000份卷子,從第一份卷子開始,機器就可以學習教師的閱卷方法,學到200份的時候機器就可以代替人工,自動對剩下的試卷進行智能化打分。

  如果全自動機器閱卷變成現實,「閱卷」這件需要教師們投入大量人力物力才能完成的事將變得輕鬆,教師們將會有更多的時間和精力被解放出來,投入到對教學方法、教學手段等創造性工作的研究中,相信學生們也會因此獲得更好、更全面的教育。

  這樣的未來,你期待嗎?

  【哈工大訊飛聯合實驗室背景介紹】

  哈工大訊飛聯合實驗室成立於2014年9月,實驗室主任由哈工大劉挺教授擔任,副主任由科大訊飛胡國平博士擔任。

  哈工大訊飛聯合實驗室是「訊飛超腦」計劃中的核心研發團隊之一,致力於在語言認知計算領域長期、深入的技術創新,目前重點研究的前瞻課題包括類人答題、作文評閱、語音轉寫等,作文自動評分是聯合實驗室在過去一年中最重要的研發成果。

相關焦點

  • 科大訊飛機器智能閱卷技術實現機器批改作文
    閱卷是老師教學工作中,非常重要的一環,同時也十分耗時耗力。隨著科技的發展,機器可以協助我們進行數據計算、體力勞動等工作。那麼,「閱卷」是不是也可以由機器代勞呢?答案是肯定的。目前,科大訊飛機器智能閱卷技術已經在安慶、合肥等地成功試點應用。
  • 科大訊飛認知智能持續突破,機器閱讀理解SQuAD測試勇奪第一!
    訊飛提出的基於交互式層疊注意力模型,主要思想是根據給定的問題對篇章進行多次的過濾,同時根據已經被過濾的文章進一步篩選出問題中的關鍵提問點。這樣「交互式」地逐步精確答案的範圍,與其他參賽者的做法不太相同,最終收穫了令人矚目的成績。科大訊飛認為,人工智慧的發展主要分為運算智能、感知智能和認知智能。
  • 賦能上海|科大訊飛劉慶峰:英語機器同傳將達到專八水平
    熱烈祝賀世界人工智慧大會在上海隆重召開……」科大訊飛創始人、董事長劉慶峰用一段語音合成的新聞聯播來開啟他在2018世界人工智慧大會上的演講。作為語音交互技術上的領頭羊,科大訊飛目前實現了大學六級口語水平的英語語音到語音機器翻譯。劉慶峰透露,按照目前的發展速度,科大訊飛的產品將在明年上半年達到專業八級的水平,為業界首家。
  • 科大訊飛機器閱讀理解技術再次登頂SQuAD挑戰賽
    在與其他研究機構和高校一同探索技術發展的同時,科大訊飛也在積極推動該項技術在對話、問答系統中的落地應用,其中一個重要場景就是與智能車載系統的對話交互的結合,逐步實現汽車領域的精準問答。科大訊飛執行總裁胡鬱在2017發布會上介紹智能車載系統中閱讀技術的應用科大訊飛不僅在SQuAD挑戰賽持續發力,也關注並積極推動中文信息處理的研究發展。2017年,科大訊飛攜手中國中文信息學會計算語言學專業委員會(CIPS-CL)承辦了第一屆「訊飛杯」中文機器閱讀理解評測(CMRC2017),發布了相關中文閱讀理解數據集。
  • 科大訊飛:5年內 科技會場沒機器人端茶倒水就太low了
    而在人工智慧的三個層次——計算智能、感知智能和認知智能之中,前兩者機器的能力已經超越人類,讓機器實現認知智能是目前人工智慧科研的焦點,這也是人區別於動物的最本質能力。而從人類自身的發展來看,產生認知智能的標誌是語言的廣泛使用。所以,在第三次人工智慧浪潮中,世界上眾多的科學家都不約而同地從「自然語言理解」這個研究方向上,尋找人工智慧的突破口,即從語音與語言入手實現機器的認知革命。
  • 科大訊飛陷翻譯造假 機器翻譯還有多遠?
    2018世界人工智慧大會剛落幕,科大訊飛卻陷入了「AI同傳造假」的風波。9月20日,一位同傳譯員在知乎上發文稱,在上海的一場會議中,訊飛的翻譯其實為人工同傳,並非機器智能翻譯,並且譯文由機器進行朗讀。對此,9月21日,科大訊飛的回覆是,「科大訊飛從來沒有把同傳翻譯包裝成機器翻譯。」9月21日,科大訊飛董秘、高級副總裁江濤接受21世紀經濟報導記者採訪時說道:「儘管機器翻譯獲得發展,明年能達到英語專業8級的水平,但依然沒辦法代替同傳。科大訊飛沒有提到AI同傳,並沒有造假吹牛,目前的情況是一個誤會。」
  • 科大訊飛陷AI同傳造假疑雲:從機器朗讀到機器翻譯還有多遠?
    2018世界人工智慧大會剛落幕,科大訊飛卻陷入了「AI同傳造假」的風波。  9月20日,一位同傳譯員在知乎上發文稱,在上海的一場會議中,訊飛的翻譯其實為人工同傳,並非機器智能翻譯,並且譯文由機器進行朗讀。
  • 科大訊飛機器翻譯系統挑戰大學英語六級考試 成績被評為優秀
    央廣網合肥12月18日消息(通訊員張沛、劉輝)12月18日下午,合肥師範學院一間特殊的考場內,「考生」是科大訊飛一套機器翻譯系統。  它一連考了三道翻譯題,每道題滿分15分,它得到13分的均分。  考題來自三天前結束的大學英語六級考試,評分的是兩位具有六級閱卷經驗的高校資深專家,「這套機器翻譯系統的表現讓我們驚喜,翻譯得很地道。」
  • 透視科大訊飛「同傳造假」:機器翻譯之困
    近日,人工智慧語音領域領軍企業科大訊飛(002230.SZ)被曝出「同傳造假」,科大訊飛官方回應這是由於與同傳譯員溝通不足造成的誤會。  據悉,引發此次事件是在2018創新與新興產業發展國際會議上,該會議曾以「機器翻譯」作為宣傳,科大訊飛官方最近解釋稱這種方式是「人機耦合」,並承認機器翻譯仍難以代替人工。  物聯網資深專家楊劍勇對《中國經營報》記者表示,科大訊飛提出人機耦合背後,是智能(機器)翻譯技術相對語音識別技術難度更大。  近年來,隨著AI的熱度遞增,機器翻譯也呈現出爆發之勢。
  • 科大訊飛陷AI同傳造假疑雲:機器翻譯還有多遠?
    9月20日,一位同傳譯員在知乎上發文稱,在上海的一場會議中,訊飛的翻譯其實為人工同傳,並非機器智能翻譯,並且譯文由機器進行朗讀。這容易讓觀眾產生「都是人工智慧翻譯」的錯覺,而忽略背後同傳譯員們的勞動成果。對此,9月21日,科大訊飛的回覆是,「科大訊飛從來沒有把同傳翻譯包裝成機器翻譯。」
  • 科大訊飛AI同傳造假?你以為是機器在同傳,其實是人工……
    9月20日,一位同傳譯員在知乎上發文稱,在上海的一場會議中,訊飛的翻譯其實為人工同傳,並非機器智能翻譯,並且譯文由機器進行朗讀。對此,9月21日,科大訊飛的回覆是,「科大訊飛從來沒有把同傳翻譯包裝成機器翻譯。」
  • 再發「最強音」,科大訊飛喜獲國際口語機器翻譯評測大賽冠軍
    再發「最強音」,科大訊飛喜獲國際口語機器翻譯評測大賽冠軍 繼斬獲今年八項「世界第一」之後,科大訊飛再度發力,在剛剛結束的 2018 年國際口語機器翻譯評測比賽中,科大訊飛在英德方向語音翻譯任務端到端模型比賽中
  • 從智能語音、圖文識別到認知智能 科大訊飛:用AI技術啃最難啃的...
    除了在醫學領域落地,科大訊飛還將這種認知智能的前沿技術,應用到教育、法律行業。科大訊飛的閱卷機器人,能在閱卷老師批改完之後進行二次閱卷,如果與老師給的分差較大,會自動發起重新閱卷申請。司法機器人則能夠輔助審判複雜案件,提升審判質效。
  • 科大訊飛陷AI同傳造假疑雲:機器朗讀到翻譯還有多遠?
    9月20日,一位同傳譯員在知乎上發文稱,在上海的一場會議中,訊飛的翻譯其實為人工同傳,並非機器智能翻譯,並且譯文由機器進行朗讀。   這容易讓觀眾產生「都是人工智慧翻譯」的錯覺,而忽略背後同傳譯員們的勞動成果。對此,9月21日,科大訊飛的回覆是,「科大訊飛從來沒有把同傳翻譯包裝成機器翻譯。」
  • 一文看懂我國機器翻譯發展情況及BAT、科大訊飛等機器翻譯格局分析
    2015年,百度發布了世界上首個神經網絡賦能的機器翻譯服務,並在同年實現基於神經網絡的離線翻譯,帶領機器翻譯進入新的歷史階段。2017年底,百度翻譯被MITTechReview評選為2018年世界十大突破技術,被列為即時語音翻譯領域關鍵玩家,是當年度唯一入選的中國公司。
  • 科大訊飛總裁:五年後95%的人英語應用水平或不及機器
    科大訊飛執行總裁吳曉如表示,現在機器很難替代老師,但是現有的很多老師如果不進行改變的話,可能未來還是會被替代掉,做更好的老師,也要看他如何更好地培養未來的人才,怎麼更好地和現有的技術去融合。科大訊飛執行總裁吳曉如人工智慧+教育的時代需求:輸出的教學服務要能和學校結合起來從整個教育行業來說,面向未來的網際網路、面向未來的人工智慧時代。現在大家經常會提到,一些簡單的技能型的工作,未來會大量地被替代掉。
  • 訊飛翻譯機機器翻譯系統挑戰六級翻譯 成績優秀
    六級考試每次通過率只有30%左右,這位特殊的考生正是訊飛翻譯機2.0搭載的科大訊飛機器翻譯系統。特殊的六級考生,優秀的成績回到今年的考試現場,12月18日下午,合肥師範學院一間特殊的考場內,考官分別打開三道考題,由人工將考題輸入電腦,隨後科大訊飛的機器翻譯系統進行作答,每道題不到2秒便作答完畢。最終科大訊飛機器翻譯系統拿下13分的優秀成績。
  • 科大訊飛回應AI同傳造假:從未將人工翻譯包裝成機器,或因動了別人...
    打開APP 科大訊飛回應AI同傳造假:從未將人工翻譯包裝成機器,或因動了別人「奶酪」 李倩 發表於 2018-10-08 16:47:57
  • 科大訊飛發布訊飛翻譯器、智能錄音筆等AI新品
    5月21日,科大訊飛(002230.SZ)2019新品發布會在上海世博中心成功舉辦。會議主題為「你的世界,因A.I.而能」,科大訊飛在會上推出了訊飛翻譯器3.0、智能錄音筆、智能辦公本、轉寫機等新品。據介紹,訊飛翻譯機3.0翻譯速度達到「0.6秒閃譯」,實現清楚拾音、響亮外放和智能識別多音多義詞,打造「聽得清才能譯得準,源頭創新保障翻譯」的準確翻譯效果。
  • 2019世界人工智慧大會科大訊飛再摘榮譽,訊飛翻譯機3.0領銜智能...
    科大訊飛能夠獲得這一項榮譽實至名歸,憑藉企業在人工智慧行業內20年的經驗,尤其針對智能語音翻譯服務需求這一層面的設計研發水平,科大訊飛一直都領先同行。據了解,科大訊飛在語音識別合成以及機器翻譯等關鍵技術這一方面陸續取得突破,訊飛翻譯機3.0就是企業的代表作。