「你永遠不能理解一種語言——除非你至少理解兩種語言」。
任何一個學過第二語言的人,對英國作家傑弗裡·威廉斯的這句話應該都會「感同身受」。但為什麼這樣說呢?其原因在於學習使用外語的過程會不可避免地加深一個人對其母語的理解。事實上,歌德也發現這一理念的強大威力,以至於他不由自主地做出了一個與之類似但更為極端的斷言:
「一個不會外語的人對其母語也一無所知」。
這種說法極為有趣,但令人驚訝的是恐怕更在於其實質——對某一項技能或心理機能的學習和精進能夠對其他技能或心理機能產生積極影響——這種效應即為遷移學習。它不僅存在於人類智能,對機器智能同樣如此。如今,遷移學習已成為機器學習的基礎研究領域之一,且具有廣泛的實際應用潛力。
今天的機器學習領域主要圍繞著能力可隨數據及經驗的積累而提高的算法,且已取得驚人進步,並由此催生出可比肩甚至超越人類智能的計算系統,例如具有理解、處理及翻譯語言能力的系統。近年來,機器學習研究多聚焦在深層神經網絡(DNN)——一種通過從大量數據中推斷異常複雜模式而進行學習的算法概念。例如,向一臺基於DNN的機器輸入數千個英文錄音片段及其對應文本,機器便可從錄音與文字的關聯中推斷出相關模式。伴隨著關聯模式的逐漸精確,系統最終將能「理解」英語語音。事實上,今天的DNN已經相當成熟,一臺功能強大的計算機在學習充分訓練示例後,完全可以對真人對話進行文字速記,並達到比專業速記員更高的準確率。
一些人也許會很驚訝,計算機化的學習系統展現出遷移學習的能力。我們可以通過一項涉及兩套機器學習系統的實驗來思考這個問題,為了簡單起見,我們將它們稱為機器A和機器B。機器A使用全新的DNN,機器B則使用已經接受訓練並能理解英語的DNN。現在,假設我們用一組完全相同的普通話錄音及對應文本來對機器A和B進行訓練,大家覺得結果會怎樣?令人稱奇的是,機器B(曾接受英語訓練的機器)展現出比機器A更好的普通話技能,因為它之前接受的英語訓練將相關能力遷移到了普通話理解任務中。
不僅如此,這項實驗還有另一個令人更為驚嘆的結果:機器B不僅普通話能力更高,它的英語理解能力也會提高!看來威廉斯和歌德確實說對了一點——學習第二語言確實能夠加深對兩種語言的理解,即使機器也不例外。
遷移學習的理念至今仍是基礎研究的課題之一,因此,許多根本性的問題仍然懸而未決。例如,並非所有的「遷移」都是有用的。要讓「遷移」發揮作用,學習任務之間至少需要相互關聯,而這種關聯方式仍然缺乏精確定義或科學分析,且與其他領域相關概念之間的聯繫仍有待闡明,如認知科學和學習理論。誠然,對於任何一個計算機科學家而言,從事計算機系統的「擬人化」在理智層面都是危險的,但我們卻不得不承認,遷移學習讓人類學習和機器學習之間產生了強烈而誘人的相似性;當然,如果通用人工智慧真能有朝一日成為現實,遷移學習恐怕將是這一過程中的決定性因素之一。對於善於哲學思考的人來說,遷移學習的正規模型可能會為知識和知識遷移帶來新發現和分類方法。
遷移學習同樣具有極高的應用潛力。過去,機器學習在搜索和信息檢索等領域中的實用價值較為單一,大多聚焦於通過全球資訊網上大量數據集和人物信息進行學習的系統。但我們是否想過,經過網絡訓練的系統可以了解關於較小社區、組織甚至個人的信息麼?未來智能機器可以學習與特定個人或小型組織相關的、高度專業化的任務麼?遷移學習讓我們可以想像這樣一種可能性,讓所有網絡信息都成為機器學習系統的基礎,而系統則可通過遷移學習獲得更個性化的信息。實現這個願景,我們將向人工智慧普及化邁出又一大步。