雷鋒網 AI 科技評論按：今年 CVPR 2018 最佳論文《Taskonomy: Disentangling Task Transfer Learning》（任務學：任務遷移學習的解耦）研究了一個非常新穎的課題，那就是研究視覺任務之間的關係，根據得出的關係可以幫助在不同任務之間做遷移學習。相比於我們看慣了的為各種任務刷分的研究，這篇論文可謂是一股計算機視覺領域的春風。
CVPR 2018 期間雷鋒網 AI 科技評論作為唯一註冊媒體進行現場報導，也參加聆聽了這篇論文的現場演講。演講者為論文第一作者 Amir R. Zamir，他是斯坦福和 UC 伯克利大學的博士後研究員。當他還博士在讀時也憑藉論文《Structural-RNN: Deep Learning on Spatio-Temporal Graphs》（http://arxiv.org/abs/1511.05298）獲得了 CVPR 2016 的最佳學生論文獎。
以下為演講聽譯圖文全文。
Amir R. Zamir：大家早上好，我介紹一下我們的論文《Taskonomy: Disentangling Task Transfer Learning》，這篇論文是我與 Alexander Sax、William Shen、Leonidas Guibas、Jitendra Malik 以及 Silvio Savarese 共同完成的。
我們首先提出了一個問題，視覺任務之間有什麼關係嗎？還是說它們都是各自獨立的。比如深度估計和表面法線預測之間，或者對象識別以及室內布局識別之間，有沒有什麼關係。我們覺得答案是肯定的，不管是從我們的直覺上還是藉助一些知識。比如我們知道表面法線預測模型、深度預測模型或者室內布局模型都可以為物體識別帶來不小的幫助。所以任務之間肯定是有一些關係的。
那麼這些關係有哪些影響？它們又會有什麼重要作用呢？這就是我今天要講給大家的。
我要介紹這四個要點：
任務之間的關係是存在的 這些關係可以通過計算性的方式得到，不需要我們作為人類的知識參與 各種任務屬於一個有結構的空間，而不是一些各自獨立的概念 它可以為我們提供一個用於遷移學習的統一化的模型
剛才我展示的例子只是許多視覺任務中的幾種。任選一些任務出來我們都可以問這樣的問題：它們之間有沒有關係、有多大關係。為了回答這些問題，我們要對任務之間的關係、任務之間的冗餘有一個全局的認識，我們需要把任務作為一個集體來看待，而不是作為單個單個的任務。我們利用它們之間的關係和冗餘度達到更高的效率。
其中有一個非常令人感興趣的值得提高效率的方面就是監督的效率，就是我們希望用更少的標註數據來解決問題，我們這項研究的關注點也就在這裡。許許多多的研究論文都討論了如何減少模型對標註數據的需求，現在也有自我監督學習、無監督學習、元學習、任務適配等方法，以及在 ImageNet 上學到的特徵基礎上做精細調節，現在這都已經成了一種慣用做法了。
實際上，遷移學習之所以可行就是因為任務間的這些關係。從高抽象層次上講，如果能夠遷移或者翻譯一個模型學到的內部狀態，這就有可能會對學習解決別的任務起到幫助 —— 如果這兩個任務之間存在某種關係的話。下面我詳細講講這部分。
以表面法線預測任務（surface normal）為例，我們專門訓練一個神經網絡預測圖像中的平面的法線，顯然效果是不錯的。如果我們只用 2% 的訓練數據訓練網絡，就會得到左下角這樣的結果，顯然我們都能猜到結果會很糟糕。
然後我們從兩個其它的任務，圖像重整（reshading）以及圖像分割（segmentation）的模型做遷移。遷移的時候都是在一個小的複製網絡上用剛才同樣的 2% 的數據做訓練。
可以看到，圖像分割模型遷移後的表現並不好，但是圖像重整模型的表面法線預測表現就不錯。這就表明了，圖像重整和表面法線預測之間的關係要比圖像分割與表面法線預測之間的關係更強、更緊密。直覺上這還挺合理的，我們會覺得對場景做重整的時候就是會與平面的法線有不少聯繫；相比之下法線預測與圖像分割之間，我就想不到會有什麼關係，也可能是真的沒有什麼關係吧。所以我們觀察到，對於互相之間有關係的任務，我們只需要一點點額外的信息就可以幫助一個任務的模型解決另一個任務。
如果你能有一些方法，把大量任意給定的任務之間的關係進行量化，我們就可以得到一個完整的圖結構。這就是我們期待的那種可以理解不同任務之間的冗餘度的一個全局窗口。比如它可以利用我們前面提到的任務之間的冗餘度解決一系列監督學習任務，可以只用一點點資源就把舊任務遷移到新任務上；或者解決一個全新的任務，我們幾乎沒有這個任務所需的標註數據。那麼現在學習解決新任務就變成了向原有的結構中增加一些內容，而無需從零開始。
這就是我們的「Taskonomy」的目的，這是一種完全計算化的方法，可以量化計算大量任務之間的關係，從它們之間提出統一的結構，並把它作為遷移學習的模型。我們把它稱作「Taskonomy」，也就是 task 任務 和 taxonomony 分類學 兩個詞的組合，就是意味著要學到一個分類學角度出發的遷移策略。
我們具體是這樣做的。首先我們找到了一組一共 26 個任務，包括語義、 2D、2.5D、3D 任務。我們並沒有細緻全面地選擇更多的各種視覺任務，這些只是我們演示方法用的一組樣本；稍後我還會再談到參與計算的任務列表的選擇。我們收集了大約 400 萬張室內物品的照片，然後每一張照片都為這全部 26 種任務做了準備。這些圖像全部都是真實的，不是生成的；對於 3D 視覺任務，我們用結構光傳感器掃描出了相應的室內場景結構，這樣我們也可以更容易地為這些任務獲得真實值。
接下來我們為任務列表裡的這 26 個任務分別訓練了 26 個任務專用神經網絡，這些畫面就是這 26 個任務的輸出。3D 任務比如曲率預測，語意任務比如物體識別；也有一些任務是自監督的，比如著色。
我們的任務學模型有四個主要步驟，第一步就是訓練這 26 個任務專用網絡，然後把權值鎖定下來；這時候每一個任務就都有一個專門為了它訓練的神經網絡。
下一步是量化不同任務之間的關係。比如以計算法線估計和曲率估計之間的關係為例，我們用鎖定了權值的法線估計模型訓練一個小的複製模型，這個小模型從法線估計模型的表徵中嘗試計算曲率。然後我們就用新的測試數據評估小模型的表現。這個表現就是評估具體這兩個任務之間的直接遷移關係的依據。
那麼，含有 26 個任務的清單，一共有 26 x 25 中組合方式，我們把它們全都做了這樣的訓練和評估。這樣就得到了我們想要的完整的任務關係圖結構。不過，節點之間的值還需要標準化，因為這些任務都是屬於各自不同的輸出空間的，也有不同的數學性質。對於關係的描述，我們求了這樣的整個圖結構的鄰接矩陣（adjacency matrix），從計算結果可以明顯看到其中有一些東西在矩陣中起到了決定性的作用。原因就是因為這些任務存在於不同的輸出空間中，我們需要做標準化。
我們對矩陣做標準化的方法是一種名為分析性層次過程（Analytic Hiererchical Proess）的序數方法。在這裡我就不詳細介紹了，不過簡單來說，我們選取了一種序數的模式，因為相比其他的一些分析方法，它對輸出空間的數學性質做出的假設對我們來說非常關鍵。具體內容可以參見我們的論文。
那麼， 這個完整的關係圖結構已經是完全量化了的，針對一對一對的任務之間，它的取值就是任務遷移的依賴程度。值得注意的是，並不是任意兩個任務之間的遷移都有用，有很多任務之間的關係都很弱。但是當然有一些很強的關係，而且有一些明顯的模式。
我們就希望從完整的圖結構中提取出這種稀疏的關係。對我們來說，提取出的結構能幫助我們最大化原先任務的表現，並且告訴我們如何為新任務選擇一個最好的源任務、哪個源任務可以遷移到儘可能多的任務中，以及如何遷移到一個任務清單中不包括的新任務上去。
在這一步中我們做的簡單來說可以形式化為一個子圖選擇問題。我們已經定義好了任務清單，之前已經見過的任務用灰色的節點表示，未見過的新任務用紅色的節點表示。然後我們設定一些限制，用二進位抽取的方式計算得到最優的子圖。計算細節可以看我們的論文或者海報，還挺簡單直接的。
子圖抽取得到的結果就給我們提供了想要解決每一個任務所需的連接性，包括全新的任務，如何使用有限的資源、不超過用戶定義限度的資源來最大化各個任務的表現，而用戶定義的資源的數量實際上也決定了源任務的任務清單能夠有多大。這也就是我們的目標。
（雷鋒網 AI 科技評論註：論文中有另一張全過程示意圖如下）
還有一點我沒有時間展開講的是高階任務遷移，就是 2 個甚至更多的任務可以一起作為源任務和資源開銷，在我們的框架內進行計算。那麼實際上我們的鄰接矩陣也就遠大於 26 x 25 ，因為還有多對一的情況。
下面說一下實驗結果。對於 26 個任務的任務清單，一共有 3000 個任務遷移網絡，花費了 47829 小時的 GPU 時間。訓練模型大概花了我們 4.7 萬美元。訓練遷移後的模型只用了 1% 的任務專用網絡的訓練數據。
這是一個任務分類結果的例子。這個例子中包含的是我前面說的這 26 個任務，其中有 4 個是作為目標的任務，也就是說它們只有非常少的數據，這些數據剛剛夠訓練複製的遷移網絡，而無法從零訓練一個新的網絡。查看一下這幾個任務的連接性就會直覺上覺得是那麼回事，3D 任務和其它的 3D 任務之間有更強的聯繫，以及和 2D 任務的相似度很低。
為了評估我們的遷移策略的效果，我們提出了兩個評價指標，增益 Gain 以及質量 Quality。增益是指遷移的網絡的表現相比用同樣的少量數據從零訓練的表現的勝率；圖中越深的藍色表示越高的勝率，也就是說遷移的效果總是要更好。質量是指遷移的網絡相比用全部數據訓練的任務專用網絡的勝率，我們可以看到許多情況下都是白色，就是說這些遷移後的模型的表現已經和作為黃金標準的任務專用網絡的表現差不多好了。
這只是一個分類學的例子，大家可以編寫自己的實現，不過最好的方法還是試一試我們的在線實時 API， taskonomy.vision/api，你可以自己設定想要的參數，查看任務分類學的定性以及定量的計算結果。值得一提的是，我們的分類學結果很適合配合 ImageNet 的特徵使用，因為它也是目前最常用的特徵了。我們也做了一些和 ImageNet 相關的實驗，歡迎大家看我們的論文。
最後總結一下：
我們向著認識視覺任務空間的目標邁出了積極的一步；我們把任務作為一個結構化空間中的群體，而不是作為單個單個的概念來看待；這裡這張圖就是根據量化的關係繪製的。這是一個完全可計算化的框架；它可以幫助我們做遷移學習，也可以幫助我們尋找通用化的感知模型。
訪問我們的網站 http://taskonomy.stanford.edu/ 的話還可以看到一個 YouTube 的介紹視頻。謝謝！
（完）
實際上 http://taskonomy.stanford.edu/ 網站上有豐富的研究介紹以及資源，實時演示 demo、用於定製化任務計算的 API、遷移過程的可視化、預訓練模型、數據集下載等一應俱全。同作者所說一樣，希望了解更多信息的可以閱讀論文原文以及訪問他們的網站。
論文地址：http://taskonomy.stanford.edu/taskonomy_CVPR2018.pdf
雷鋒網 AI 科技評論報導。更多 AI 學術內容請繼續關注我們。