上個月底,一家名為「流利說」的企業宣布自己獲得了近億美元的C輪融資,一時間地鐵里舖滿了其旗艦產品「英語流利說」的廣告。人工智慧+教育、超懂你的AI老師,此類話術深深吸引了腦極體的老夥計們,讓我們摩拳擦掌想要評測一番這款產品。
為了不被AI老師吊打,我們派出了我司英語水平最高的同事(我本人),購買了99元/月的定製課程,進行了為期一周的測試。
(從3號到10號,光是付費課就學了3個多小時,把王者農藥的時間花在了英語上T-T)
為了方便大家閱讀,我們將對於這款產品的大致體驗放在文章最前面:
用過一個星期後,從一個普通用戶的角度,我個人對於這款產品的評價不算太差,100分滿分,這款產品可以得到70-75分。
圖文並茂的全英文教學是其最大特點,沉浸式的教學模式有利於培養語感,較多的口語訓練和評分一定程度上彌補了中國啞巴英語的教育缺憾。
當然這款產品也存在著不少的缺點,比如聽+讀的教學模式對於使用場景有較高要求,缺乏語法教學不適用於應試,教材全英文不適合0基礎學生等等。
總是,如果你有一定的英語基礎,想練練英語口語/聽力,平時又能抽出少量時間專心學習,英語流利說或許是個不錯的選擇。
但從一個測評者的角度,接來下就要談談對於這款產品使用中的不便和發現的問題了。
個性化學習還是個性化推薦?
一開始,流利說提出的AI個性化教學是這款產品最吸引我的地方,因材施教可以說是教育產品的最高境界。在新聞稿中,流利說聯合創始人林暉表示:「流利說在AI研究領域的最前沿自適應部分,打造了根本不同於常見的自適應學習方法:流利說的自適應學習系統沒有一個預先設定的知識圖譜,而是通過遞歸神經網絡的深度學習模型,讓系統產生了自學習能力,把學生和對該學生最合適的學習內容的相關性不斷提高。」
可是在實際使用中,我完全沒有體會到這一點。
交付了99元/月的費用後,我先是做了一套水平測試題,做題的時候感覺測試題很簡單,通過一些日常對話做相關語義理解的選擇題,加上一些語音簡單跟讀、文本朗讀等等。
(圖為一道定級測試題)
而我本人考過英語六級、做過字幕組,對於這種難度測試還是比較有自信的。
不過意外的是,結果測出來我的英語水平是L3,距離四六級考試還有著不小的距離。呃…好吧,對於這種測試結果,我只能當做自己口語太差,而AI老師對我有著嚴格的要求。
測試之後,我被拉進一個100人的群裡,群裡有一位流利說的員工,自稱是我們的班主任,而群裡其他用戶都是和我在同一天購買了99元/月課程的學員。
(圖為進群第一天,學員們很自覺的開始分組,其中不乏一些好學的微商朋友)
進入App正式開始學習,系統先是讓我選擇,大意是「學習英語的目的是什麼」,我選擇了「英文辦公」、「旅遊英語」等選項。在我的App首頁,就出現了一些相應的小課程,例如《旅行好夥伴》、《你喜歡旅行嗎》,裡面的內容大概是「Do you like traveling」一類的簡單對話,讀了兩課之後,我的感想只有一個:浪費時間。
作為高貴的付費用戶,我點開了「定製學」入口,希望在這裡能夠看到更適合我的課程。定製學的課程根據用戶的測試水平自動匹配,作為level3的用戶,我可以學習level1-3的課程,但在通關L3之前不能進入L4。
進入L3課程後,學習內容和測試內容差不多,對話理解、朗讀打分等等。話題繁雜,涉及到購物、地球自轉、形狀等等。耐心學了幾課後,又諮詢了其他同學,我發現,所有付費用戶用的都是一套教材,並不會因為學習目的的選擇或學習過程中產生的數據所改變,最多題目出現順序有所變化。而L3的課程,尤其是口語之外的聽力、選詞填空等,對我來說依然比較簡單,做題時依然有種浪費時間的感覺。
(圖右為免費對話小課程,圖左為付費課程,這個難度大家自己體會一下)
到這裡我才明白,原來所謂的個性化學習,只不過是在非付費入口根據我的選擇給我推薦一些小課程,跟第一次登錄今日頭條時選擇感興趣的話題差不多。並且這些課程難度的匹配性很差,對我來說完全不適用。另外我一直沒有看到我需要的商務英語相關課程,不知道是因為題庫的缺失還是其他原因。
AI老師沒見到,人工班主任很辛苦
至於地鐵廣告上一直說的AI老師……恐怕只能當成一個美好的比喻了。在學習中,英語流利說會為你讀的每個句子打分、標註出來哪些詞讀的不對(準確度待會再談)。如果你玩過唱吧,你會覺得這個功能很熟悉……在每個單元學習後,英語流利說會展示你的錯題,告訴你這一題考察的是哪個知識點。剩下的,沒有了。想知道自己究竟是不流利還是單詞重音不對?不好意思,聽一遍原音吧。想統一複習錯誤的地方?不好意思,自己整個錯題本吧。
(百度翻譯配流利說,這樣的套路是AI老師教不了的)
AI老師堪稱是一位撒手掌柜,我甚至在微信群裡見過一些非常認真的學員用XX翻譯單獨學習課程中句子單詞的發音和含義,這些都是AI老師不會教給你的,在App中很難找到明顯的入口。
相比AI老師的悠哉哉,微信群裡的班主任可以說是非常辛苦了。從她的自我介紹中,我得知這是一個年輕的姑娘,每天負責早上在群裡發一首英文歌,督促大家上傳學習時間截圖,時不時在群裡發送直播課連結、小視頻、小知識點等等。如果有學員提問,她還要發送語音朗讀單詞或句子。
(流利說班主任在朋友圈發雞湯的樣子和我的健身教練很像)
除了負責群裡的事務,她還要時不時私聊學員,詢問學習狀態,耐心的解答學員的問題。通過我和班主任的聊天,得知她負責著8個這樣的百人群,都是99/月課程的學員。想想她每天要和至少800人聊微信,真的感覺很心疼,想給她的午飯加個雞腿。
另外,班主任還負責著一項工作,就是幫助學員糾正讀音。在流利說的微信公眾號上有個很複雜的入口,可以上傳一條語音,讀課文後,班主任會為你人工糾音,指出哪個單詞讀的不對,應該怎樣讀。
(微信跟讀人工糾錯,建議各大中小學也引入這個功能)
一款以NLP技術為宣傳重點口語學習軟體,卻要靠人工來聽+指導800多個人的英語讀音……簡直是一出現實魔幻大戲啊。
至於NLP技術,emmmm……
以上這些缺點都可以暫時原諒,畢竟英語流利說的NLP技術才是我們關注的重點。
經過個人使用中的測試,我發現在語音識別中,流利說表現較好的是可以從略為雜亂的環境中識別語音。當然,這和硬體自身的拾音能力甚至拾音位置都不無關係。
另外,英語流利說在語音識別中也存在著不少錯誤,比如在使用時,我某些長單詞明顯讀錯了,系統卻顯示正確,但of、and、a這些較短的連接詞卻總顯示不正確。
這一錯誤,可能是因為of、and這些詞較短,在波形文件被分割時容易和前後連接的詞「粘連」,導致錯誤分割。至於長單詞,應該就是長波形文件識別時容易有所忽略。而至於一些單詞的重音位置應該在哪、語氣語調等等,英語流利說也很難準確識別。在測試時,只要單詞沒有出現錯誤,我常常靠著一口乾巴巴的Chinglish得到90+的評分。
(知乎上網友的發言,看來這些問題不止我一個人遇到)
語音識別準確度的考量一般分為幾個維度,一是上下文、語調、語速的影響,二是對近音詞的判斷,三是環境噪聲的影響。
像英語流利說這種有底稿(不涉及近音詞、不涉及上下文語義判斷)的語音識別,目前的表現只能算是中流,毫無驚喜。
總之,經過一周的體驗下來,我只能說英語流利說是一款有可取之處的產品,但是打起人工智慧的旗號,實在有些言過其實了。英語流利說最大的創新,無非是把漏鬥理論、補貼政策、用戶運營等等網際網路常見的理念用到了教學產品中。
在群裡,常常能看到班主任宣傳他們的返學費政策,大意是購買某一檔次的課,經過一段時間後進行水平檢測,如果通過可以獲得學費返還。
(班主任常在朋友圈大力宣傳返學費政策)
99元的低廉課程作為入口,通過人工增加和用戶的聯繫,利用漏鬥理論從99元付費人群中篩出願意購買更昂貴課程的用戶。至於返學費,誰不知道是一個變相促銷做流水的好辦法?脫離開流利說,這套玩法用在任何一款教育產品中都能奏效。令人失望的是,一款據說包含了NLP、知識圖譜等等多種高科技的教育產品,依然要靠一個人帶800個學生這樣密集的勞動進行運營。一想到流利說總部裡可能坐著數十位(甚至更多)年輕人,拿著手機面對好幾個微信群不斷解答問題就是他們一整天要做的事,這樣類似「共享家教」的畫面讓我感覺AI+教育的未來非常渺茫。
總之,英語流利說的運營思路要比他們的人工智慧聰明多了。今後我還會用這款產品嗎?或許會吧,畢竟花了99塊錢。