Self-Supervised Learning in Computer Vision

2021-02-07 機器學習算法與自然語言處理

來自 | 知乎

作者 | NoahSYZhang

地址 | https://zhuanlan.zhihu.com/p/336933815

編輯 | 機器學習算法與自然語言處理公眾號

本文僅作學術分享，若侵權，請聯繫後臺刪文處理

最近在組會討論self-supervised learning的相關內容，整理了一個PPT，粗略的survey了一些相關工作和大佬們的slide， 把ppt分享在這裡。

https://shanghaitecheducn-my.sharepoint.com/personal/zhangsy1_shanghaitech_edu_cn/_layouts/15/onedrive.aspx?id=%2Fpersonal%2Fzhangsy1%5Fshanghaitech%5Fedu%5Fcn%2FDocuments%2FResearch%2FTalkPPT%2Fself%5Fsupervised%2Epdf&parent=%2Fpersonal%2Fzhangsy1%5Fshanghaitech%5Fedu%5Fcn%2FDocuments%2FResearch%2FTalkPPT&originalPath=aHR0cHM6Ly9zaGFuZ2hhaXRlY2hlZHVjbi1teS5zaGFyZXBvaW50LmNvbS86YjovZy9wZXJzb25hbC96aGFuZ3N5MV9zaGFuZ2hhaXRlY2hfZWR1X2NuL0VReVZUa0d1cGVKR3R4eW9FSE5nTlM4QmRkX3VtN196dUlSVFpsdTZWSnBXQXc_cnRpbWU9dWIzXzhvREEyRWc

參考了以下內容：

https://project.inria.fr/paiss/files/2018/07/zisserman-self-supervised.pdf

https://drive.google.com/file/d/1r-mDL4IX_hzZLDBKp8_e8VZqD7fOzBkF/view

https://www.techbeat.net/talk-info?id=470

下載1：四件套

在機器學習算法與自然語言處理公眾號後臺回復「四件套」，

即可獲取學習TensorFlow，Pytorch，機器學習，深度學習四件套！


下載2：倉庫地址共享

在機器學習算法與自然語言處理公眾號後臺回復「代碼」，

即可獲取195篇NAACL+295篇ACL2019有代碼開源的論文。開源地址如下：https://github.com/yizhen20133868/NLP-Conferences-Code

重磅！機器學習算法與自然語言處理交流群已正式成立！

群內有大量資源，歡迎大家進群學習！

額外贈送福利資源！深度學習與神經網絡，pytorch官方中文教程，利用Python進行數據分析，機器學習學習筆記，pandas官方文檔中文版，effective java（中文版）等20項福利資源

獲取方式：進入群後點開群公告即可領取下載連結

注意：請大家添加時修改備註為 [學校/公司 + 姓名 + 方向]

例如 —— 哈工大+張三+對話系統。

號主，微商請自覺繞道。謝謝！

推薦閱讀：

Tensorflow 的 NCE-Loss 的實現和 word2vec

多模態深度學習綜述：網絡結構設計和模態融合方法匯總

awesome-adversarial-machine-learning資源列表

相關焦點

  • 【機器學習基礎】Self-Supervised Learning入門介紹
    self-supervised learning 變得非常火，首先是 kaiming 的 MoCo 引發一波熱議，然後最近 Yann 在 AAAI 上講 self-supervised learning 是未來。
  • self-supervised系列-何凱明的MoCo
    But supervised pre-training is still dominant in computer vision, where unsupervised methods generally lag behind.   現在CV中，有監督的預訓練仍舊是主流，無監督方向大有潛力。
  • 自監督學習(Self-Supervised Learning) 2018-2020年發展綜述
    Learning 的方法，在資源豐沛的情況下，可以傭簡單的架構便達到逼近 Supervised Learning 的效果，甚至在Model Capacity 增加的情況下，能與 Supervised Learning 平起平坐。
  • 長文總結半監督學習(Semi-Supervised Learning)
    targets improve semi-supervised deep learning results論文連結：https://arxiv.org/abs/1703.01780代碼連結：https://github.com
  • 《Computer vision》筆記-VGGNet(2)
    VGG-16維度的變換情況可以參考《Computer vision》筆記AlexNet(1)文中的方式進行推導。由圖可以看到，VGG-16 是一種只需要專注於構建卷積層的簡單網絡。代碼如下所示：import torch    import torch.nn as nn    class VGGNet16(nn.Module):        def __init__(self,num_classes=10):            super(VGGNet16,self).
  • 名著導讀 | Deep learning
    In computer science, computational learning theory (or just learning theory) is a subfield of artificial intelligence devoted to studying the design and analysis of machine learning algorithms.
  • Multi-task Learning and Beyond: 過去,現在與未來
    在 supervised auxiliary learning 的 setting 中，整個網絡和任務的選擇非常依賴於人類的先驗知識，並不具備絕對的普遍性。Meta Auxiliary Learning考慮 supervised auxiliary learning 對於任務選擇的局限性，我後續提出了一種基於 meta learning 的方法來自動生成
  • 關於Vision Transformer的一些思考
    文章conclusion裡的「Unlike prior works using self-attention in computer vision, we do not introduce any image-specific inductive biases into the architecture」和introduction裡的「We
  • 博士申請:英國大學最新Ph.D職位
    Outputs need to be formulated so as to be suited to HE’s decision-making processes. Modern AI is based on machine learning techniques that can improve their performance by learning from experience. Experience often comes in the form of very large amounts of data.
  • 淺談學習技能|自我調節Self-regulation
    Pre-service teachers' self-regulated learning and their developing concepts of SRL. Brock Education, 23(1), 58-76.Cambron, C., Kosterman, R., Catalano, R. F., Guttmannova, K., Herrenkohl, T.