在教育倍受重視的今天，在線教育行業也發展的如火如荼。拍照搜題、在線答疑的核心技術究竟如何？在線教育行業背後的架構又是怎樣？一起來看看吧！
從某種角度說，我們可以做一些補充性，或者說問題降解、難度降解的事情。我們把學生某種學習行為數據用一種手段，比如拍照搜題、1V1答疑，還有很多其他的模塊，收集起來，進行建模。然後做成各種各樣的模型，輸送給另外一個大腦。在這個過程中，我們就完成了部分知識或者記憶的傳輸。然後我們想做的是，利用他山之石來讓其他一些學生可以攻玉，這個就是學霸君要做的事情。
今天想跟大家分享的有幾點。首先簡單介紹一下，我們的創業動機，然後是開始的第一步，即搜題的一些核心技術。另外，我還會講講1V1的實時答疑，這方面也有很多核心技術。
學霸君簡介首先，跟大家簡單分享一下我們學霸君的簡史。
我們在2012年11月開始創建團隊，摸索了一年，終於在2013年的10月1號懷著忐忑的心情，把第一版的拍照搜題的APP推送上線。我們是非常緊張的，因為那時候，國內還沒有太多這樣類型的產品可以參考。它的實際效果、搜索命中率是怎麼樣，都是個未知數。
等到第一版上線的時候，我們發現，用了一大堆非常裸、非常的低效的平平手段創造出來的OCR加搜題的模塊，能夠達到百分之四十幾的搜索命中率。我們覺得這個東西有戲。在那個之後，我們逐步迭代各種版本，到現在已經發布了三個主要的文字識別版本，大概是93%左右的搜索命中率。到目前累計搜索接近20億次。每一道題的搜索，後面緊密連接一個電話號碼，就是學生註冊的時候填寫的電話號碼。這有什麼用呢？等一下我會跟大家分享一下。
在2015年9月1號，我們首推了實時答疑。然後第二波的徵程就開始了。中國學生比較靦腆，很多時候遇到問題不敢問、不想問、不會問。老師的情況是，在二三線城市的老師的薪酬並不是特別高，但是他們有一部分空閒時間。大部分中國的家長都是望子成龍的，願意付很多的錢投資在小孩的學習上，他自身又沒有時間和能力去輔導他。這樣，學生在有問題的時候，沒法得到有效的解決。在這種情況下，我們就進一步衍生了一個實時答疑的產品，把相隔千山萬水的老師跟學生之間的距離變成了5秒。
我們的模式是，可以把它理解為在線教育的Uber，用手機APP去呼叫老師，呼叫服務。學生遇到題目不懂，任意一個位置的學生拿起手機來直接就拍，拍了之後，我們就會對他進行識別，會搜索，把答案推出來。甚至有解析，解析非常重要。如果學生看不懂，呼叫一下老師，老師會跟學生互動，他會用相應的策略去講不一樣的解題思路。
我們用這個APP就做到這樣一個效果：老師拿題就講，學生不懂就問，問懂為止，真正做到今日難題今日斃。在這樣的模式下，我們所推崇的就是效率的提升，這是我們在學習裡面經常不能得到滿足的一個比較大的問題。怎麼樣做到這些呢？
拍照搜題核心技術接下來講核心技術。首先，為什麼要去做大量的行為數據的採集。行為數據的採集實際上是學霸君在做的真正的內容，拍照搜題、1V1答疑也只是採集數據的兩種手段。以後，我們還有其他的採集手段會逐步開放出來。2012年、2013年創業初期，我們思考的一個問題是，怎麼樣去捕捉學生的大腦。控制論的祖師爺是威娜，他對控制系統提出兩個指標，一個是可觀，一個是可控。而學生的大腦是極度不可觀測、極度不可控制的一個系統。那怎麼樣去觀察學生大腦裡面的一些東西，並且勾勒出能力缺陷的空間呢？
我們討論了很久，決定從所有的書籍開始入手。怎麼樣去採集書籍的內容，這個就最終導致我們花了很多精力去做拍照搜題的一個產品。有了一個idea之後，我們非常興奮，但是馬上就遇到一個坎，發現文字識別實在太難了。那時候我們還沒有專門的歐西亞團隊，都是技術的小白。我們所搜集到的圖片都是亂七八糟的圖，有非常模糊的，有各種扭曲的。這個是技術難題，但是我們必須要解決。
我們就開闢一條跑道，這個跑道非常曲折，在這條彎路上，先後探索了印刷體、中文識別、公式識別、英文識別、表格識別、圖像識別、自然語言處理、手寫識別、卷面的版面分析，以及高並發的圖像的處理框架，這些都構成了基礎識別團隊。然後相應的團隊也已經組建起來。
文字識別上，第一步要做的就是單個文字的識別。我們用的是深度學習的技術，從20億的虛擬字庫裡面去進行訓練，最終的單字識別率現在是99.5%。考慮到裡面有很多是模糊字，所以在清晰的情況下，基本上就是四個九到五個九左右級別的精度。這張圖顯示的是基本的技術結構。模擬神經網絡，有若干個輸入，輸入之後有正向的應急信號，也有正向的增強信號，也有負向的抑制信號，所有信號疊加之後，有綜合的輸出。然後我們把所有的網絡用大概幾千萬或者是幾百萬個單元組合在一起。
分享一個題目。對於一張圖片，我們切割出來，一個字一個字，每個字首先做一次卷集，把它某種方向的一個特徵提取出來。第二步做一次下採樣，把它變成一個更小的一個圖。第三步再做一次卷集，然後變成看不太清楚，但是反映了一些文字的高層特徵的圖。第四步再做一次下採樣，會變成一個更小的圖，然後做一個全連接，這是一個網絡結構。最終的輸出實際上是對所有字的自信度的打分。比如說在這個結果裡面，層次是91%的進度，那麼這個圖片對應的就是層的一個輸出。
然後我們還克服了若干其他的問題。現在完成了這樣的一個場景，就是我們可以把人眼基本上看不太清楚的東西，變成可以看見的東西。像這張圖裡面，現在就可以把它浮現到可讀可識別這樣一個階段，這也是圍繞著圖像處理的一些手段。還有手寫識別，在拍題搜題裡面，它的出現概率不會很多，2%左右，但是這一塊的技術，對1V1答疑是一個基礎的技術。
先看一個結果。這是我們在收集拍攝、拍照搜題出來的一個結果，裡面的正確率基本上還可以，但是有一個錯誤，這個錯誤實際上導致了，數學引擎技術沒法完全波接這樣一個結果。如果這一套，這個字也識別對了，負一識別為負一的話，這道題在從數學引擎上是可解的。我們會進入另外一個環節，就是對題目畫像。我們會把所有提幹進行一個拆解，然後把一些已知因素跟未知因素處理出來，做數學、語法素的應用，最終把答案推理出來。
說了那麼多，我來說一下應用。在1V1實時答疑裡面，假設這樣一個場景，老師在講題的時候，上面會不斷顯示，最重要的是類人腦的，或者沒有那麼智能，而是一個某種程度上會思考的引擎，首先會分析老師的筆記。老師在上面畫了一張圖，我們會先做圖形的識別，它是一個立方體，有哪些虛線，哪些實線？
接下來會分析。比如說在這裡面它寫了幾何法，後面寫了一個向量法，幾何法跟向量法都可以觸發相應的知識圖譜，這個知識圖譜是圍繞著題庫建立起來的另外一個知識體系。或者他寫了一條式子，在這種情況下，直接就把式子算出來了。
老師在講課的時候，他不是孤身作戰，他所講的內容，得到我們的知識體系的支撐。然後會分析他需要什麼，不斷為他聯動一些要講的內容。還有更重要的是，所有觸發在分析引擎的時候，我們會把數據收集下來，這個才是對我們最有價值的，老師怎麼講、用了哪些素材，最終會進入資料庫。
第四個，是智能版面分析引擎。接下去我們要做的事情會更有意思。所有的卷子、書籍，首先可以做校正，然後會做智能化的切割，一道題一道題切割出來。如果這道題是可以解的，那我們給它解出來，如果這道題是資料庫有的，我們從資料庫搜索出來。每道題的頻次、考分、重要性全部分析出來。然後所有學習數據，就可以幫助學生去更精準投放時間，避免時間浪費。我們通過圖像的切片，可以把整個任務切成一小塊一小塊，然後分發給圖像的雲處理機群，做並發處理，最後把它拼接成綜合的結果，發送給相應的處理終端。這個是我們雲的架構。
1V1實時答疑核心技術1V1實時答疑實際上可以類比為一個Uber打車的模式。我們把它說成是滴滴叫老師。這個模式一個核心技術，就是讓最合適的老師給一個學生講題。我們的老師不一定都是國家級優秀老師，有很多老師在二三線城市耕耘了很多年，有不錯的講課經驗，但是還沒有達到最頂級老師的水平。通過這樣的機制，讓老師不斷去提升在某個垂直知識點的熟練程度，不斷優化，不斷優化，不斷優化。這個老師在某個曲折點上，他能講出比一級老師更嫻熟的內容，這是我們的一個核心理念。
在調度上，我們有各種各樣的挑戰。首先老師的上線時間是不確定的，每一個老師上傳的板塊不一致，各地的考綱不同，講題方式也不同。學生是隨機提問的，對價格的敏感程度不一樣，一線城市可能願意多花點錢，二線城市可能對比較優惠的策略更感興趣。對於獲得的結果期待也不同。
所以，我們對各種策略需要有一個智能化的控制。然後大家看到這個系統是簡單的寫照。如果一個學生有問題，發起請求，然後進入調度中心，這個調度中心會在問題空間裡面選取若干個老師，然後發送，最後老師接單，就是這樣一個流程。
隱藏的技術就由這個架構體現。最底層的是知識模型，包括知識導航、知識圖譜。往上一層，包括學生畫像跟老師畫像兩塊的用戶畫像，當然家長畫像也是非常重要的。還有第三個，往上走就是預測算法。因為供需關係必須平衡，不平衡會導致整個系統崩潰，所以這塊也是非常重要的。最上面是偏運籌學方面的工作，需要對老師的需求跟供應進行建模，然後做最優化、智能的調度。
現在我們已經收集了接近20億次的學生提問、幾千萬左右的題目。我們使用自然語言理解，還有深度學習，對這些題目跟知識做梳理，然後把它整理成樹狀的結構。比如說高中數學，現在有七大板塊，22個章節，550個知識點，三千多個題型，根據各地的考綱的不同，會有不同的版本，然後這些版本會導致問題更細緻化。
但是整體的思想是，建成一個樹狀結構的導航體系，可以把它類比為Uber系統的GPS，就用這個去分類各種題目、學生畫像等。接下來看一下怎麼去用這個東西。第一個問題是，學生畫像是非常有意思的問題，學生是千人千面，沒有兩個學生是完全一樣的，但是我們通過某種統計規律可以抽象出一些共性，然後就可以用來做很多事情。
這張圖給大家看一下我們怎麼去分析學生的共性，怎麼去用這種拍照搜題數據。每個學生在系統裡面呈現出很多的數據，這個數據就是我們非常大的財富，然後不斷去挖掘裡面隱含的信息。首先用剛才說的那個GPS系統，就是知識的建模，把每一個題目的知識點抽樣出來，變成一個輸入，接上時間軸，把它扔進一個深度神經網絡，這時候就可以抽取學生的各種特徵。然後接下去，我們可以做一些分析。
舉個例子，可以看到學生的行為有個時間軸。學生的行為實際上是動態變化的，不是固定的，今天學代數，明天學幾何，會不斷變化，學生所問的問題，或者說需求的問題不斷變遷。那在這種情況下，有一個現象是可以利用的，就是學生之間的共性。比如說A學生，問了若干系列的問題，B學生問了若干系列的問題，後來來了個C學生，我們發現A學生B學生的共性非常強，那C學生接下去想問的問題或想了解的內容，可以通過前面A學生B學生所形成的聚集去預測，這個對於分配老師、調度老師的策略上是非常有幫助的。
老師的畫像跟學生的畫像是完全不一樣的兩個問題。老師沒有學習階段的時間軸，很多老師各個年級都能講，但是他所講程度不太一樣。為了對老師進行適當的分類，我們用了這樣的策略，就是競爭神經網絡。我們把所有的老師，大概有幾千到接近一萬老師，映射到一張地圖，這是數據計算出來的地圖，用類似於商級來區分不同老師的分類，每種顏色代表著老師的一個類，這個只是龐大地圖裡面的一小塊。
比如，綠色代表著老師會講立體幾何，紅色代表會講立方體這一塊，等等。對所有老師建模之後，註冊一個新的老師，他講若干道題之後，開始對這個老師進行定位。比如，他講了立體幾何，可能還講了其他一些題，但是他立體幾何比較擅長，那最終會把他定位到這一個區域裡面，然後不斷讓他講這塊內容。這個就是我們老師畫像的應用，這體現了需求和供應兩方面。
需求供應，我們需要去量化。接下一個核心技術就是需要去預測，每一個知識點、每一個知識板塊，有多少的供應量，有多少的需求量，可以去設計老師的人源池的分配。每個地區供需關係不太一樣，這導致一個非常有意思的數學問題，就是龐大數據集多時序的一個預測。每個老師都有一個相應講題的頻次、數量等，幾個月下來，基本上可以估出它的模式，然後就可以對每個老師的上線時間進行預測，對講題的供應能力進行預測。
最後，根據歷史結果來估算老師未來的服務能力，然後可以對不同老師的能力進行排序，有需求的時候，會根據這種排序去進行動態的調度。這裡面就有啟發性搜索的算法。接下來我們就講精益工程裡面經常用的庫存模型，把它用到1V1時答疑裡面去，這個模型叫做Make to Order，就是按需求去生產。
生產系統裡面基本上有三個主要角色。首先是協調管理和調度的人員，我們現在是用95%的自動化加5%的人工去進行協調管理，其目的就是為了調整老師跟學生之間的匹配關係。老師答疑的供應，可類比為庫存，整個系統不斷生產，老師會不斷出來，如果庫存積壓的話，有庫存成本。
學生答疑的需求，可類比為市場需求，如果市場的需求不能得到滿足的話，那收入就會流失，如果需求太少的話，整個系統也跑不起來。這樣的系統建立一個數學模型，X代表著庫存大小，γ 1、γ 2代表著老師到來的頻次、學生到來的頻次。這就是一個數學問題了。
我們把它建成一個Markov過程，這是實實在在放在後臺調度的一個模塊。然後可以把Markov過程想像成為狀態機，有不同的狀態，每個狀態可以互相跳變，但是這個跳變有一定的概率。我們可以去模擬各種各樣稀奇古怪的分布，老師的分布不一定是正態分布或者指數分布那樣工正，可能是雙峰值、後尾的等。為了預測比較好的準確度，用了非常特殊的一個分布區域對它進行建模。
建模之後，我們就可以做隊列的模型。老師進來，服從這樣一個Markov過程，學生到來，服從另外一個Markov過程，它的參數是不一樣的。學生過來之後，如果有老師在等待隊列裡面，他們就可以匹配，形成服務的一個對接，這就是一個好的開始。有了剛才Markov過程，接下去就是列出一大堆平衡方程，總共大概有幾十萬到一百萬的平衡方程，基本上是描述各種狀態之間的跳變。
然後再加歸一化條件，所有的概率的核等於1。接下去就可以解線性方程，最終得到一個非常有意思的結果，就是隊列的一個分布、老師的概率，隊列裡面有兩個老師的概率，有三個老師的概率，再細化一點，就是隊列裡面輔導立體幾何的老師在等待的概率、輔導函數的五個老師在等待的概率。就可以幫我們推導運籌學的收益優化的模型。
這是非常簡單的版本，它主要包括幾個模塊。一個是答疑總量，這個是正向的，答疑總量越大，我們收益率越高，還有答疑評分越高的話，基本上來說收益會更好。一個是提問流失，是負向的，如果流失的提問，我們效益要緊逼。老師閒置也是負向的，這個也會打擊老師的積極性，然後再減去其他的成本，實際上還有很多很多其他的因素。
老師的實際可調配的量是小於最大的供給量的，即，最大不可能超過註冊老師的供應量。然後就有一個非常有意思的調度策略，實際上相當於滴滴司機排班這樣的策略，但是我們對老師有一定的幹預能力。我們會從需求上預測，大概在某個時間點需要多少老師，把它切為若干時間片，每個時間片需要多少老師。最後，會向老師推送一些信息，這個時間點你上線，有更多的單子，那老師就會來。這些信息最終歸結為最優化的問題，可以用很多的算法。
簡言之，我們現在用了遺傳算法在做在線的優化。遺傳算法簡單時顯，實際上就是通過不斷的迭代、計算，把一些解不斷優化，X1、X2、X3到X8就代表著每一個時間的一個片斷的一個排單量，然後通過兩種算子，一種是交叉，一種是編譯，不斷去形成更優的排班。迭代很多次計算之後，總體的收益函數會不斷上升，直到比較好的結果。這個就是我們最終的排班策略。
為什麼排班策略很重要，為什麼調度策略非常重要？非常簡單，這是一個速度決定著生死的市場，如果沒法在很短的時間內聚集足夠有用的數據量，我們是完不成數據採集的最終目標的。如果爬坡速度夠快，那可以有足夠的數據量，去推進下一步的業務，把數據全部用起來，可以做很多事情。如果沒有的話，基本上到後面就是會走向消亡，這個是非常殘酷的一個現實。
學霸君在收集20億左右拍照搜題的題目之後，接下去的目標是一千萬、非常高質量的、1V1的視頻樣本。1V1視頻樣本是非常特殊的數據，它只有一個人講、一個人問，然後只針對一道題。像手機講話，它非常垂直、非常精準，有大量的數據在圍繞它做一個標註，比如有圖庫做支撐，有圖譜知識做支撐，拿這些東西去做語音的訓練也好，去做知識的建模也好，都是非常有價值的。
最後能夠拿到現在國內還沒有人擁有的垂直領域的教學模型。我們就把它放到計算系統裡面。這個計算系統分為兩層。第一層是CPU跟GPU計算機群，現在很多的最優化機器學習都放在這樣機群裡面去算。但是機器不是萬能的。我們搭建了人工自有系團隊，去標註各種各樣的數據，然後綜合起來。我們會不斷去提煉裡面的模型。
資料庫主要有三個，一是題庫、學生庫、老師庫，二是更高層的拍題的一些記錄，三是1V1講題記錄，這是更高層的數據記錄。我們的數據挖掘工程師，不斷去做各種各樣的計算流，把它扔到這個平臺裡，從各個側面去挖這樣的數據，比如說哪些題是更高頻的、這個學生需要問什麼問題、這個學生以後三個月需要學習什麼，這是知識性學習的問題，等等。還有一些報表的結果。
小結最後總結一下，學霸君是做什麼的？我們是一家做教育行為數據採集的公司，採集的手段有圖像識別、手寫識別、工人識別、文檔分析，還有音視頻數據的採集，還有識別。這是第一步。第二步，就是做分析。我們用機器學習和深度學習去做各種題目的建模、人物的建模，還有整個調度模式的建模，然後把它用到體系裡面，不斷推高數據採集的速度。最終，我們把它用在培訓上，會跟其他人合作，或者是會有一些相應的業務。
實際上我們是開數據挖掘機的。
本文轉載自InfoQ，作者陳銳鋒。
芥末堆註：學霸君方面表示，目前學霸君的用戶為5500萬，日活350萬，每天解決1800萬道難題，已經累計為用戶答疑超過40億次。
芥末堆註：如需聯繫該作者／創業者，歡迎發送需求到service@jmdedu.com，芥末堆幫你牽線搭橋。
1、本文是
芥末堆網轉載文章，原文：
InfoQ；2、芥末堆不接受通過公關費、車馬費等任何形式發布失實文章，只呈現有價值的內容給讀者；
3、如果你也從事教育，並希望被芥末堆報導，請您
填寫信息告訴我們。
推廣： 芥末堆商務合作：010-5726 9867