少樣本學習(FSL)在機器學習領域具有重要意義和挑戰性。成功地從很少的樣本中學習和歸納的能力是區分人工智慧和人類智能的一個明顯的界限，因為人類可以很容易地從一個或幾個例子中建立他們對新穎性的認知，而機器學習算法通常需要數百或數千個監督樣本來保證泛化能力。儘管FSL的悠久歷史可以追溯到21世紀初，近年來隨著深度學習技術的蓬勃發展也引起了廣泛關注，但迄今為止，有關FSL的調研或評論還很少。在此背景下，我們廣泛回顧了2000年至2019年FSL的200多篇論文，為FSL提供了及時而全面的調研。在本綜述中，我們回顧了FSL的發展歷史和目前的進展，原則上將FSL方法分為基於生成模型和基於判別模型的兩大類，並特別強調了基於元學習的FSL方法。我們還總結了FSL中最近出現的幾個擴展主題，並回顧了這些主題的最新進展。此外，我們重點介紹了FSL在計算機視覺、自然語言處理、音頻和語音、強化學習和機器人、數據分析等領域的重要應用。最後，我們對調查進行了總結，並對未來的發展趨勢進行了討論，希望對後續研究提供指導和見解。
地址：
https://www.zhuanzhi.ai/paper/ffc99a53aeb6629e21b9a42db76b9dd1
概述：
人類智能的一個令人印象深刻的特點是能夠從一個或幾個例子中迅速建立對新概念的認知。許多認知和心理學證據[184,224,371]表明，人類可以通過很少的圖像[23]識別視覺物體，甚至兒童也可以通過一次偶見就記住一個新單詞[35,51]。雖然從很少的樣本中支持人類學習和歸納能力的確切原因仍是一個深刻的謎，但一些神經生物學研究[285,29,157]認為，人類顯著的學習能力得益於人腦中的前額葉皮層(PFC)和工作記憶，特別是PFC特有的神經生物學機制與大腦中存儲的以往經驗之間的相互作用。相比之下，最先進的機器學習算法都需要大量數據，尤其是最廣為人知的深度學習[186]，它將人工智慧推向了一個新的高潮。深度學習作為機器學習發展的重要裡程碑，在視覺[172,319,120]、語言[231,318]、語言[127]、遊戲[308]、人口學[97]、醫學[74]、植物病理學[100]、動物學[252]等廣泛的研究領域都取得了顯著的成就。一般來說，深度學習的成功可以歸結為三個關鍵因素:強大的計算資源(如GPU)、複雜的神經網絡(如CNN[172]、LSTM[129])和大規模數據集(如ImageNet[287]、Pascal-VOC[75])。然而，在現實的應用場景中，比如在醫學、軍事、金融等領域，由於隱私、安全、數據標註成本高等因素，我們無法獲得足夠的標籤訓練樣本。因此，使學習系統能夠有效地從很少的樣本中進行學習和歸納，成為幾乎所有機器學習研究人員所期待的藍圖。
從高層次上看，研究少樣本學習的理論和現實意義主要來自三個方面。首先，FSL方法不依賴於大規模的訓練樣本，從而避免了在某些特定應用中數據準備的高昂成本。第二，FSL可以縮小人類智能和人工智慧之間的差距，是發展通用人工智慧的必要之旅[191]。第三，FSL可以實現一個新興任務的低成本和快速的模型部署，而這個任務只有幾個暫時可用的樣本，這有利於闡明任務早期的潛在規律。
少數樣本學習(FSL)，又稱小樣本學習、少樣本學習或一次性學習，可以追溯到21世紀初。儘管該研究已有近20年的歷史，在理論和應用層面上都具有重要意義，但到目前為止，相關的調查和綜述還很少。在本文中，我們廣泛調查了從21世紀頭十年到2019年幾乎所有與FSL相關的科學論文，以詳細闡述一個系統的FSL調研。我們必須強調，這裡討論的FSL與zero-shot learning (ZSL)正交[346]，這是機器學習的另一個熱門話題。ZSL的設置需要與概念相關的側面信息來支持跨概念的知識遷移，這與FSL有很大的不同。據我們所知，到目前為止，只有兩份與fsl相關的預先列印的綜述論文[305,349]。與他們相比，本次綜述的新穎之處和貢獻主要來自五個方面:
(1) 我們對2000年至2019年的200多篇與FSL相關的論文進行了更全面、更及時的綜述，涵蓋了從最早的凝固模型[233]到最新的元學習方法的所有FSL方法。詳盡的闡述有助於把握FSL的整個發展過程，構建完整的FSL知識體系。
(2) 根據FSL問題的建模原則，我們提供了一種可理解的層次分類法，將現有的FSL方法分為基於生成模型的方法和基於判別模型的方法。在每個類中，我們根據可一般化的屬性進一步進行更詳細的分類。
(3) 我們強調當前主流目前的方法,例如,基於目前的元學習方法,和分類成五大類,他們希望通過元學習策略學習學習,包括Learn-to-Measure Learn-to-Finetune, Learn-to-Parameterize,學會調整和Learn-to-Remember。此外，本調查還揭示了各種基於元學習的FSL方法之間潛在的發展關係。
(4) 總結了最近在普通FSL之外出現的幾個外延研究課題，並回顧了這些課題的最新進展。這些主題包括半監督FSL、無監督FSL、跨域FSL、廣義FSL和多模態FSL，它們具有挑戰性，同時也為許多現實機器學習問題的解決賦予了突出的現實意義。這些擴展主題在以前的綜述中很少涉及。
(5) 我們廣泛總結了現有FSL在計算機視覺、自然語言處理、音頻和語音、增強學習和機器人、數據分析等各個領域的應用，以及目前FSL在基準測試中的表現，旨在為後續研究提供一本手冊，這是之前綜述中沒有涉及到的。
本文的其餘部分組織如下。在第2節中，我們給出了一個概述，包括FSL的發展歷史、我們稍後將使用的符號和定義，以及現有FSL方法的分類建議。第3節和第4節分別詳細討論了基於生成模型的方法和基於判別模型的方法。然後，第5節總結了FSL中出現的幾個擴展主題。在第6節中，我們廣泛地研究了FSL在各個領域的應用以及FSL的基準性能。在第8節中，我們以對未來方向的討論來結束這次綜述。
使學習系統能夠從很少的樣本中學習對於機器學習和人工智慧的進一步發展至關重要。本文對少樣本學習(FSL)進行了全面的研究。特別地，我們回顧了FSL的發展歷史和當前的進展，並且通過一個簡潔易懂的分類對所有的FSL方法進行了分組。深入分析揭示了主流的基於元學習的FSL方法之間的潛在開發關係。系統總結了FSL的幾個新出現的外延研究課題、現有的FSL在各個領域的應用、當前的基準數據集和性能，以及幾個潛在的研究方向。希望通過本次綜述，促進對FSL相關知識的掌握，促進FSL研究領域的協同發展。
專知便捷查看
便捷下載，請關注專知公眾號（點擊上方藍色專知關注）