點擊上方「Jack Cui」,選擇「設為星標」
大家好,我是 Jack 。
眾所周知,機器學習大致可分為有監督學習和無監督學習。
自監督學習作為無監督學習的一個特例,可以理解它是一種沒有人工標註標籤的監督學習,即沒有人類參與的監督學習。
但標籤仍然存在,只不過標籤是從輸入數據中生成的,通常是使用啟發式算法生成。
自監督學習的流行是勢在必然的。
在各種主流有監督學習任務都做到很成熟之後,數據成了最重要的瓶頸。
從無標註數據中學習有效信息一直是一個很重要的研究課題,其中自監督學習提供了非常豐富的想像空間。
今天為大家帶來的是一位本科清華,博士港中文畢業的大佬,對於自監督學習的一些思考。
圖片具有空間連貫性,視頻具有時空連貫性。那麼就可以利用這些特點來設計自監督任務。如下圖,Solving Jigsaw Puzzles [4] 利用圖片中物體空間上的語義連貫性,Temporal order verification [5]任務利用了視頻中物體運動的時間連貫性。
圖五,利用數據空間、時間連貫性的自監督任務
目前很火的基於contrastive learning的方法,包括NPID, MoCo, SimCLR等,我們可以將它們統一為instance discrimination [6]任務。如下圖,這類任務通常對圖片做各種變換,然後優化目標是同一張圖片的不同變換在特徵空間中儘量接近,不同圖片在特徵空間中儘量遠離。圖6,instance discrimination任務對於這類任務,下圖假設了兩種可能的優化後的特徵空間。這兩種結果都是符合instance discrimination優化目標的,即同一張圖片的不同變換在特徵空間中儘量接近,不同圖片在特徵空間中儘量遠離。然而,我們發現,實際的優化結果更偏向於第二種而非第一種,也就是說,雖然我們在解決instance discrimination的過程中並沒有用的物體的類別標籤,但是在優化後的特徵空間中,同類的物體還是相對能夠靠攏。我們的世界是在嚴格的物理學、化學、生物學規則下運行的,視覺信號是這些內在規則的外在反映,而深度學習,正好非常擅長處理高維的視覺信號。
所以,無監督、自監督學習的存在和發展是必然的,因為世界本身就是有序的、低熵的,這使得數據本身就已經包含了豐富的信息。
自監督學習看似神奇,但理解了其本質之後,也就會覺得是情理之中了。當然,目前學術界對自監督學習的理解程度,可能也只是九牛一毛而已。未來會走向什麼方向,誰也說不準。
目前是基於數據之間的結構的instance discrimination處於state-of-the-art,未來,基於priors的方法更勝一籌也是有可能的。
所以,千萬不要受限於一類方法,不要讓自監督學習變成了調參遊戲,自監督領域的想像空間其實非常大。
最後,這個總結主要基於自己的思考,也許不一定非常到位,權當拋磚引玉。希望大家都能夠設計出有趣又有用的自監督學習任務,為這個領域添磚加瓦。
本文已由原作者授權,不得擅自二次轉載。
https://zhuanlan.zhihu.com/p/150224914
References:
Pathak, Deepak, et al. "Context encoders: Feature learning by inpainting."Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
Walker, Jacob, Abhinav Gupta, and Martial Hebert. "Dense optical flow prediction from a static image."Proceedings of the IEEE International Conference on Computer Vision. 2015.
Noroozi, Mehdi, and Paolo Favaro. "Unsupervised learning of visual representations by solving jigsaw puzzles."European Conference on Computer Vision. Springer, Cham, 2016.
Misra, Ishan, C. Lawrence Zitnick, and Martial Hebert. "Shuffle and learn: unsupervised learning using temporal order verification."European Conference on Computer Vision. Springer, Cham, 2016.
Wu, Zhirong, et al. "Unsupervised feature learning via non-parametric instance discrimination."Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.
Grill, Jean-Bastien, et al. "Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning."arXiv preprint arXiv:2006.07733(2020).
看到這裡的,都是真愛,12 月份的福利來啦~
本次聯合「人民郵電出版社異步圖書」,送 5 本書給大家,規則很簡單,評論區留言,截止今晚(12.15日)十二點,獲贊前五名獲得本書。本書的內容,可以看下圖的簡介(上下滑動查看):
作者黃佳,新加坡埃森哲公司高級顧問,人工智慧專家,機器學習和雲計算高級工程師。
本書的目標,是讓非機器學習領域甚至非計算機專業出身但有學習需求的人,輕鬆地掌握機器學習的基本知識,從而擁有相關的實戰能力。參與活動的記得加我微信,謹防失聯。