雷鋒網(公眾號：雷鋒網)按：7 月 12 日至 7 月 14 日，2019 第四屆全球人工智慧與機器人峰會（CCF-GAIR 2019）於深圳正式召開。峰會由中國計算機學會（CCF）主辦，雷鋒網、香港中文大學（深圳）承辦，深圳市人工智慧與機器人研究院協辦，得到了深圳市政府的大力指導，是國內人工智慧和機器人學術界、工業界及投資界三大領域的頂級交流博覽盛會，旨在打造國內人工智慧領域極具實力的跨界交流合作平臺。
7 月 14 日，伴隨著議程進入到第三天，本次大會也迎來了為期一天的智慧教育專場。在這個專場中，好未來 AI 實驗室負責人劉子韜博士登臺，做了題為《Building The Next Generation of Smart Classroom》的主題演講。
在演講中，劉子韜從好未來在智慧課堂上的探索和研究實踐出發，談到了 AI+ 教育的發展過程中數據獲取的複雜性，並由此談到了 AI + 教育中的四個挑戰，分別是：
一是數據量小。機器學習需要有標籤的數據，而教育場景中的數據大部分都是無標籤的，有標籤的數據非常少；
二是異構性。異構性和多模態是強綁定的，不同來源產生的數據，有天然的異構性；
三是數據的質量問題。通常我們的標籤獲取是非常困難的，上了一堂課想預測這堂課好不好，好不好需要打一個標籤，這個時候打的標籤主觀性非常強，十個人給老師打分，可能有六個好，有四個不好，這堂課是好還是不好，6：4 就說好，這是有歧義的；
四是評價。短期無法量化，對 AI 有一些困難和影響。
由此，劉子韜談到了好未來在面對挑戰的過程中提出的 AI 相關解決方案，並給出了相應的案例；比如說數據眾包打標籤、作業輔助批改和在線課堂監控等。最後，劉子韜給出了自己的觀點：AI 在參與到教育應用的過程中所遇見的很多問題都是不曾被研究過的，這其中有很多的挑戰，當然也有很多的機遇。
在演講結束後，劉子韜接受了雷鋒網的採訪。
針對 AI 如何究竟賦能教育的問題，劉子韜表示，AI 作為一項技術本身其重大作用在於提升效率，就像 Google 提升了人們搜索並獲取信息的效率，AI 同樣也能在教育領域提升效率，比如說作業的自動批改、教育領域的運營管理（比如說培訓機構）等等；不僅如此，AI 還能夠在教育範圍內改善產品的體驗，是學生們在學習過程中獲得更好的體驗，比如說智能教室等。
以下是劉子韜在 CCF-GAIR 大會上的演講內容，雷鋒網對其進行了不改變原意的編輯整理：
大家早上好！今天我代表好未來跟大家分享好未來在智慧課堂上的探索和研究，今天我主要講一下我們的進展和整個過程中遇到的困難和挑戰。
好未來是一個以智慧教育和開放平臺為主體, 以素質教育和課外輔導為載體, 在全球範圍內服務公辦教育，助力民辦教育，探索未來教育新模式的科技教育公司。
好未來的人工智慧實驗室，是好未來在集團範圍內的 AI Lab，它的職責就是通過 AI 技術來賦能好未來的各個事業線，讓好未來的各個事業部擁有先進的 AI 技術。對於好未來的 AI 來說我們要達到什麼樣的目的？我們有四個願景：一是希望通過 AI 可以提供更優質的教學內容；二是希望通過 AI 能提供更有效的教學體驗；三是希望提供更科學的評測體系；四是更公平的教育資源。
我們提到教育或 AI+ 教育的時候，最重要的是什麼？我們想中間最重要的是教學環境，也就是 Learning Environments。
當我們說教學場景的時候，我們可以做一個簡單的劃分，比如說選三個維度：
Z 軸可以看到教室有多少學生。比如說 1 對 1，也可以是在線小班，可以三到九個，傳統的面授課堂有二十到五十個學生，大班網校可能 90、100、500 個學生都是有可能存在的，這是課堂裡的學生數量。
橫軸是年齡，可以是學前、小學、中學、高中、大學。
縱軸是上課的形式。上課的形式可以分為線下上課，跑到教學點線下上課、線上通過直播的方式，學生在學生家、老師在老師家通過直播的方式上課，這裡只是隨意列舉幾個緯度，還有學科，比如說教的是數學課、英語課還是物理課等科目。
不同的維度可以把場景進行細緻的劃分，其中每一塊都有它的獨特性，比如說在教小學線上一對一和教傳統線下大班高中生，其實有很大的差別。學習場景會不一樣，產生的數據不一樣，教學設計的理念會不一樣。針對不同的教學場景 AI 需要針對每一塊進行優化和定製。
教育和 AI 最寶貴的是什麼？就是豐富的數據，數據是在各個場景中能產生的數據。這些數據的產生也選兩個維度劃分一下：
上面一行是數據什麼時候產生。首先是上課之前產生什麼樣的數據，除了一些學生的課前側，還會包括家長、銷售、學生之間的溝通記錄；其次是課中，課中會產生很寶貴的數據；再次是課後，課後會產生學生的課後練習題、家長的反饋和給家長的報告。
產生數據的主體是老師、學生，中間還有一個很大的環節，我們這裡會稱為管理者。什麼樣是管理者？管理者是比較泛的概念，在整個的教學全流程中，包括課前、課中、課後，教學管理者包括跟家長溝通的學習規劃師，或是有些地方叫顧問，還有一些銷售。包括管理老師的人，大家知道培訓機構有很多老師，如何把老師管理好，讓他們的教學質量一致、歸一化，這些都會產生很多的數據。
這裡是細粒度的劃分，給大家舉幾個例子，課中的時候，老師可以做什麼？老師可以跟學生發起語音互動 Voice Interaction，可以跟學生換臉 Face Filter，直播的時候可以幫學生換臉、換場景。老師手裡有什麼？老師手裡有很多 Pad、智能筆，學生手中會有很多的答題器，學生可以通過答題器和老師互動，課中的環節會有很多的數據。
管理者有售前的銷售，給家長銷售什麼樣的課程，以及和銷售的聊天記錄。課後上完以後，學習規劃師會跟家長溝通、交流，會告訴你這堂課學生表現怎麼樣、孩子怎麼樣，這些都會有交流，會以數據的形式沉澱下來，數據的產生和全流程的把控對 AI 非常重要。
前面講了教育的數據，各個環節都能產生各種各樣的數據，當這些數據產生以後會是什麼樣？用一個比較學術上的詞是 Multimodal ，也就是多模態，主流的多模態會有三種結合：一是文本數據，很多的數據以文本的形式產生出來。二是上課的時候多數會以視頻的形式記錄下來，會有一些視頻的信息。三是還有一些語音信息，中間老師說了什麼，學生回答了什麼，這些數據會被記錄下來。對於 AI 來說，這些都是很寶貴的資源。它一定是 Multimodal Machine Learning，今年 CMU 的教授寫了一篇新的文章，文章很好地總結了 Multimodal 的問題，這裡有五大問題是我們希望能解決的：
1、Multimodal 的情況下，我們怎麼樣做一些表徵，表徵學習可以學習到所有的數據。
2、Translation，有了視頻數據和音頻數。
3、Alignment，這兩個對應起來，老師講一個課件，這張課件是靜止的，第一個講課件的上面，第二個是課件的下面。
4、Fusion 融合。
5、Co-Learning。
具體應用到需要的 AI 技術，這個大家都比較理解，更多是方向上的東西，Multimodal Machine Learning 需要梳理不同的數據，需要的 AI 技術也是各種各樣的，它是各種融合的過程。比如說 Speech，我們需要 ASR、需要降噪的方法；比如說數據挖掘，它需要更綜合的能力，我們預測學生什麼時候會退費，如何給學生推薦最適合他的老師，包括做一些個性化知識圖譜，它需要的各種技能是不一樣的，包括很多的模型是部署在端上的，教室的資源有限，我們在端上會有一些模型的加速和優化。
前面講了數據和大概 AI 的範疇，我們中間會遇到什麼樣的挑戰？這裡的挑戰非常多：
一是小數據。 各種教學場景可以產生海量數據，但大部分的數據是無標籤的，小數據是指有標籤的數據會非常少，機器學習是需要有標籤的數據。
二是異構性。異構性和 Multimodal 是強綁定的，數據由不同的來源產生，有天然的異構性。
三是數據的質量問題。數據質量是什麼意思？高質量的標籤獲取是非常困難的，上了一堂課想預測這堂課好不好，好不好需要打一個標籤，這個時候的標籤主觀性非常強，可能給十個老師打，可能六個好，四個不好，這堂課好不好是有分歧的。
四是評價，短期沒法量化，對AI有一些困難和影響。
基於上面說的問題，好未來做了一些很接地氣的 AI 應用，來具體解決好未來場景中解決的問題。我們部署的系統在好未來已經跑起來真正在用了，每天都會在處理成千上萬節課，這些工作我們都會發表在相關的會議或是頂級的雜誌上，比如說 WWW、ICDE、AIED 等，包括我們部署的系統，包括課堂的監控這些維度，以及包括我們做的中文評測表達等。
快速舉幾個例子：
第一，我們今年已經在澳門 ICDE 上發表過一篇文章，如何從眾包的標籤中進行學習？為什麼我們要眾包標籤學習？我們需要大量的數據進行學習，除了需要大量的數據，我們需要很精準的標籤，現實的世界中有標籤的數據比較小。我們怎麼辦？就是找人標，這是毫無疑問的，找人標就是 Crowdsourcing，找到人標的數據一定不是海量的數據。
基於這樣的情況，如何使用現有的方法解決現有的問題？我們的數據量有限，可以做一些 Grouping，藍色是正例，紅色是負例，藍色 100，紅色 50 個，一共 150 個樣本，這是無法做深度學習的；雖然樣本單個很小，但是我們可以做一些組合和配對，通過組合我們可以產生很多的樣本量。五個人打標籤可能是 3 比 2，最簡單的情況下，雖然是 3 比 2 給它一個知信度，給它 0.6，每個人打的標籤不一樣。我們提出了深度學習的框架，通過 Grouping 的方法和對樣本標籤的 Confidence，和 Model Learning，我們可以得到深度學習的模型。具體細節可以詳細閱讀我們的論文 Learning Effective Embeddings From Crowdsourced Labels: An Educational Case Study。
接下來我們介紹自動批改作業。
自動批改的場景是什麼？自動批改不是你給我一個高考卷子，我給你改出多少分，只是想解決特定的問題；比如說一個學生在家解一道題，他的父母在側面拍小視頻，這個視頻會傳到我們的後端，後端會有程序進行自動批改，這是數據產生的場景。
我們會給學生布置題目，在好未來會稱為口述題，口述題想解決什麼問題？眾所周知，相對於外國人的開朗，中國人以前受到的教育要謙虛、低調，可能會比較木訥一些；我們希望中國人在這方面不輸給外國人，我們從小培養學生的中文口語表達能力。基於這個大背景，我們希望小孩不停地說，我們希望給小學生出一道題，他能講解這個題的過程，我們不關係這道題的答案，希望他能講解出來，這是我們設計題的初衷。
從具體案例來看，這個題目是很受歡迎的，效果也很不錯，但背後我們遇到一些問題，就是老師改不過來了。試想一下，如果一個班如果有 30 個學生，一個學生上傳兩到三分鐘的視頻，老師聽、寫評語、改一下，一個學生老師要花五分鐘，有三十個學生，老師憑空多花 150 分鐘，非常浪費時間。
那麼 AI 能不能幫老師做一些輔助批改？基於這樣的初衷，我們設計了 AI 輔助批改解決方案，我們有學生的答案和老師的標準答案，我們會有兩方面的文本；通過 Transformer 和 Multiway Attention，對學生提交的答案和相關的問題，進行深度的語義融合和匹配，實現口述題的輔助批改。我們做了很多實驗，我們創新提出的方法，打敗了傳統機器學習的方法、深度學習的方法。具體的實現細節，可以參考我們今年在 AIED 上發表的論文 Automatic Short Answer Grading via Multiway Attention Networks 。
下面介紹我們在後臺上線的真實系統，這個系統就是在線課堂質量管控系統。
舉一個簡單的例子，這是一個傳統的在線一對一的上課畫面，一邊是老師，一邊是學生，中間是課件。其中的問題是什麼？這堂課上下來只有學生知道、只有老師知道，沒有其他任何人知道這堂課上的怎麼樣，因為家長是不會坐在邊上看的；假如這個學生馬上高考了，他不愛學習，成績很差，經常在家打遊戲，如果這個老師並沒有很好地教學生上課，而是教學生如何打遊戲，會發生什麼樣的情況？學生很開心，家長問學生這堂課學得怎麼樣？學生會說這個老師教得特別棒，教得特別好……這樣的情況是我們不希望發生的。我們想杜絕這些不應該在傳統課堂上發生的現象，通過人工檢查的方式一定是做不到的，而這種案例是極其致命的，家長發現一次這樣的情況，家長不再相信這個品牌，會產生退課和一系列的壞的口碑傳播。
所以我們希望通過 AI 來監控課堂質量，學生維度和老師維度我們都會監測。在學生維度，我們希望這堂課學生頻繁開口，我們會監控學生的表達次數，同時包括學生有沒有主動提問，學生的提問次數、學生有沒有按老師的要求記筆記等。老師緯度我們會監控更多，我們希望提高整體的教學質量，包括紅線詞（老師上課有沒有說罵人的話），老師的靜默時間，老師有沒有提問學生，老師有沒有帶著學生記筆記，老師有沒有講和學科相關的東西，而不是閒聊等。
第一步是簡單的運營手段，有了這個我們可以有運營的管理閉環，不好的事情發生，可以對老師進行處理，這是 AI 落地教學管理運營的閉環。這不是我們的最終目的，我們的目的是用 AI 提供極致的教學體驗和達到良好的教學效果。這個教學體驗可以通過 AI 進行多維度量化，我們稱為「四色分級」，紅色是最差，綠色是最好的，上完課會對課堂打分，如果是紅色說明這堂課非常差，隨著課堂的演進和變化效果越來越好，希望最終都是綠色，這是課堂的量化。
在做 AI+ 教育的過程中，有很多的挑戰，也有很多的機遇。其中要解決的很多問題都是學術界不曾存在的問題，包括眾包的相關問題以及很多小數據的問題；現階段學術界很多東西才剛開始做，包括小樣本學習。
我剛才介紹了 AI+ 教育的挑戰以及落地的應用，很多時候裡面的機會很大，還有很多的問題不曾被人研究過。這裡挑戰是很巨大的，同時也有很大的機遇。
謝謝大家！
「AI投研邦」將在近期上線CCF GAIR 2019峰會完整視頻與各大主題專場白皮書，包括機器人前沿專場、智能交通專場、智慧城市專場、AI晶片專場、AI金融專場、AI醫療專場、智慧教育專場等。「AI投研邦」會員們可免費觀看全年峰會視頻與研報內容，掃碼進入會員頁面了解更多，或私信助教小慕（微信：moocmm）諮詢。
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。