雷鋒網(公眾號：雷鋒網) AI 科技評論按：近日，香港科技大學楊強教授團隊發表了一篇關於遷移學習的論文。在論文中，他們提出了一種新穎的遷移學習範式 Learning to Transfer (L2T)，用系統化、自動化的方法解決目前遷移學習中可選算法多、但實際應用中難以找到最佳算法的問題。
雷鋒網 AI 科技評論對論文中方法的重點思想介紹如下，涉及具體公式及推導過程請參見原論文。
遷移學習（Transfer Learning）的想法來自於人類在不同的任務間轉換知識的能力，在機器學習領域使用遷移學習的目的是為了運用現有領域內的知識，提高模型在新的領域內的表現，又或者訓練一個用於新的領域的模型時減少所需要的標記數據數目。在所能獲得的標記數據有限的情況下，遷移學習有著重要的意義。
遷移學習研究的關鍵問題是何時遷移、如何遷移和遷移什麼。如果從現有領域進行遷移之後能夠有助於新領域的表現，那麼就適合遷移（「何時遷移」）；要遷移的對象是兩個領域內共享的那部分知識（「遷移什麼」）；算法發揮的作用就是找到這部分知識，然後進行遷移（「如何遷移」）。不同的算法很可能會找到可遷移的知識裡不同的部分，就會導致不同的遷移學習效果，在遷移學習完成後對表現進行測量就能夠看到這些差別。
要達到源領域和目標領域之間的最優遷移效果，需要研究者們對基於實體、參數、特徵的數百種遷移學習算法逐一嘗試。由於這樣暴力嘗試的代價過於高，實際中研究者往往只能在有限的嘗試中找到一個次優的算法，而這樣的做法則需要對點對點遷移有相當的經驗，思考方法也不系統。
楊強教授團隊認為，逐一嘗試現有的不同遷移學習算法不應成為唯一一種確定要遷移哪些知識並提高遷移學習效果的方法。所以他們在論文中提出了一種新的遷移學習範式，名為 Learning to Transfer（L2T）。受到人類能夠根據隨著經驗增加越來越輕鬆地判斷如何轉移知識的啟發，L2T 的核心思想就是利用以往的遷移學習經驗自動決定在源領域和目標領域之間如何遷移以及遷移什麼，從而提高遷移學習的效果；其中對以往經驗的利用也是在所有遷移學習算法中首次出現。
為了達到這樣的目標，L2T 的過程分為兩個階段。
第一個階段是「積累經驗」。首先，L2T 智能體進行若干次遷移學習，並對這些遷移學習過程做記錄。每一次學習的記錄分成三部分：一對源領域 S 和目標領域 T，參數化為共享潛特徵因子（latent feature factor）格式的被遷移知識 W，以及表現提升比 l（論文中定義這個值為有無遷移學習的狀況下表現之比，越高說明遷移學習效果越好）。記錄格式類似這樣（S，T，W，l）。
接下來 L2T 智能體就需要根據這些遷移經驗，學習如何遷移。這個過程是學習一個反射函數 f =（S，T，W），函數值就是剛才的表現提升比 l 。這個反射函數的目標就是通過 S、T、W 預計表現提升比 l ，學到的反射函數內部就隱含了元認知遷移學習的技能，即遷移什麼、如何遷移才能夠讓給定的源領域和目標領域之間的表現提升比最高。源領域和目標領域的特性也參與構成了 f 的一部分。
第二階段就是真正進行遷移。對於之後再提供的新的一對源領域和目標領域和已經學到的 f，L2T 智能體就可以通過求 f 最大值的方式找到最優的遷移知識，以參數的形式體現在W中。遷移學習算法按照參數W執行，就可以達到設定的遷移學習效果。
L2T 這種新穎的遷移學習範式為有效地遷移學習開啟了新的大門。通過對以往的遷移學習經驗的利用，L2T 能夠以系統化、自動化的方式在領域間發現更多的可遷移知識，而無需研究者自己具備豐富的經驗。
顯然，在這樣的範式下，反射函數 f 具體形式的構造是重中之重。目前作者們選定的 L2T 研究領域為針對一階潛特徵因子的遷移學習，即源領域和目標領域的特徵空間相同，而標籤不同。在構造 f 的過程中，作者們討論並解決了以下幾個問題。
把「學習什麼」參數化：對所有算法中的要遷移的內容做統一的參數化。這樣的潛特徵因子的遷移學習的目標就是學到不同領域間的與領域無關的特徵因子。比如從識別狗遷移到識別貓，其中眼睛、嘴、尾巴等共有的特徵就是不同領域間可以共享的特徵因子。
從經驗學習：作者們認為有兩個因素對表現提升比 l 有很大影響，在構建 f 的時候這兩個方面都要考慮到。因素一是源領域和目標領域在共享潛空間的區別。更小的區別就是更大的重疊空間，這意味著有更多的潛特徵因子可供遷移，提升比例也會更高。
對於源領域和目標領域在共享潛空間的區別，作者們首先用了最大平均差異（maximum mean discrepancy，MMD）來衡量。不過MMD的問題是只能衡量兩個空間的平均值之間的距離，而不足以衡量兩個空間的區別大小（如下圖）；所以作者們考慮到這一點，也加入了空間分布的集中性的因素在公式中。
因素二是目標領域在潛空間的鑑別能力。目標領域在潛空間的鑑別能力越強，表現的提升也會越明顯。由於遷移學習的主要應用場景就是在有標籤數據不足時，所以作者們也就直接選擇基於無標籤數據做計算。無標籤數據的鑑別性可以從兩個方面評價：類似的實體在嵌入潛空間後也應該距離相近；差別很大的實體在嵌入潛空間後也應該距離較遠。從而提出了鑑別性的評價公式。
這樣，明確了 f 的具體形式後，就可以先學習以往的若干次遷移學習經驗，然後根據學到的 f 求遷移方式（參數W）的最優解。（相關公式參見論文原文）
由於不同領域內的任務難度不同，不好直接對比，論文中選擇了繼續使用前文定義過的表現提升比 l（有無遷移學習的狀況下表現之比，越高說明遷移學習效果越好），讓 L2T 與其它許多常用的遷移學習算法進行了對比。
從上圖可以看到，當目標領域內的有標籤樣本數目很少的時候，L2T 的表現遙遙領先，這說明 L2T 最為有效地遷移了兩個領域內共有的知識，而且在樣本很多時依然保持著優勢。
為了驗證「從經驗學習」的有效性，作者們還設計了另一個實驗。首先設定 L2T 要學習的遷移經驗數目是1000條，然後用不同的以往算法生成這1000條經驗供它學習，看看 L2T 的表現受經驗影響情況如何。結果如下表。（表中內容有刪減，原表格參見論文原文）
可以看到，隨著使用的算法增多，L2T 的學習效果也越好（學到了更多情況，學到的反射函數 f 更強，遷移學習得更有效）。而且即便只用一種現有算法為 L2T 生成經驗（ITL 與 DIP 兩行）時，L2T 的學習效果也有大幅度提高（3個標記樣本時，ITL 和 DIP 本身的表現分別為 1.0188 和 1.0875）。這有力地說明了「從經驗學習」的巨大作用。
論文地址：https://arxiv.org/abs/1708.05629
雷鋒網 AI 科技評論編譯
相關文章：
華人第一位！楊強教授當選 IJCAI 理事會主席
SIGKDD 三大核心獎項出爐，裴健、楊強分獲創新獎及傑出服務獎
香港科技大學楊強教授：深度學習如何才能更靠譜？
香港科技大學楊強教授：AI學術的前沿工作，也要從工業界獲得靈感｜CCF－GAIR 2017
雷鋒網版權文章，未經授權禁止轉載。詳情見轉載須知。