重磅|伯克利《深度無監督學習》2020春季新課來襲!

2020-12-13 新智元

【新智元導讀】OpenAI顧問、伯克利加州分校人工智慧實驗室主任、機器人學習實驗室主任攜其博士生，為大家貢獻一門長達4個月的深度無監督學習課程，該課程是深度無監督學習的優秀課程，涵蓋了許多當前的最新水平，尤其是該課程使用了最新的模型更新研究生級課程。

最近因為疫情，缺乏防護且人員密集的學校成為了重災區。

國外高校在不斷的爆出確診案例，紛紛開始效仿中國學校的措施：延長假期、停課封校、直播上課。

我們中國的學生雖然佔了早隔離早停課的便宜，但同時也帶來了很大的問題。

相信各位在家裡「上課」的同學們，應該都心知肚明。很少有人能夠抵擋住缺乏學習氛圍和老師監督的情況下，各種「俗事」帶來的誘惑。

雖然大家嘴上都在說在哪裡摔倒就在哪裡睡著，然而現實的殘酷並不會因為鴕鳥的腦袋埋進沙子裡就會消失，相反，只會變得越來越殘酷。

或許當你在家裡，一邊看著B站上UP主的沙雕視頻、一邊在微博上吐槽和家長的各種矛盾，你可能沒有意識到，即使是這些沙雕UP主們，也是在用100%的努力去沙雕！

或許當幾個月後疫情真的過去了，學校恢復了正常，你會突然發現和班裡某些人的差距，突然一下子拉的更大了！這個時候你可能滿腦袋裡都是「比我聰明的人還比我更努力。」

那麼，為什麼不現在開始努力呢？

所以今天我們為大家帶來伯克利的2020新春課程《cs294-158，深度無監督學習》。

這門課程，伯克利每年都會開設。之所以推薦，不僅僅因為是名校的經典課程，讓斯坦福畢業的前谷歌大腦成員讚不絕口，更重要的是這門課程每年真的更新，教材中使用的最新的模型！

課程介紹

本課程將涵蓋兩個深度學習領域：深度生成模型和自我監督學習。

生成模型的最新進展使得可以對高維原始數據進行逼真的建模，例如自然圖像，音頻波形和文本語料庫。從微調到看不見的任務方面，自我監督學習的步伐已開始縮小有監督表示學習與無監督表示學習之間的差距。本課程將涵蓋這些主題及其新啟用的應用程式的理論基礎。

這門課程暫定的主題包括生成對抗網絡（Generative Adversarial Networks）、變分自動編碼器（Variational Autoencoders）、自回歸模型（Autoregressive Models）、流模型（Flow Models）、基於能量的模型（Energy based Models）、壓縮（Compression）、自監督學習（Self-supervised Learning）、半監督學習（Semi-supervised Learning）。

該課程對概率論、優化和深度學習基礎有一定的要求。

課程安排

暫定時間/教學大綱

課時時間課程內容L11/22簡介L21/29自回歸模型L32/5流量模型L42/12潛在變量模型L52/19隱式模型/生成對抗網絡L62/26隱式模型/生成對抗網絡 ctd +最終項目討論L73/11自我監督學習/非生成表示學習L83/18迄今為止涵蓋的無監督學習方法的優缺點L94/1半監督學習；無監督分配對齊L104/8壓縮L114/15語言模型[來賓講師：Alec Radford OpenAI ]

4/22期中L124/29強化學習中的表徵學習

5/6RRR周 無講座

5/13最終項目演示文稿+最終項目報告

課程講師

本課程講師由大家熟悉的UC伯克利教授Pieter Abbeel，帶領3位博士生擔綱。

Pieter Abbeel是加州大學伯克利分校教授，EECS，BAIR，CHAI，師從吳恩達。

現任伯克利機器人學習實驗室主任、伯克利人工智慧研究（BAIR）實驗室聯合主任；covariant.ai聯合創始人，總裁兼首席科學家、OpenAI顧問。

Pieter Abbeelhttps://people.eecs.berkeley.edu/~pabbeel/

Peter Chenhttp://peterchen.io/

Jonathan Hohttp://www.jonathanho.me/

Aravind Srinivashttps://people.eecs.berkeley.edu/~aravind/

相關資源

課程主頁：

https://sites.google.com/view/berkeley-cs294-158-sp20/

相關焦點

  • 重磅 | 伯克利《深度無監督學習》今日開課!雙語字幕獨家上線!
    AI 研習社獲得官方授權，伯克利 CS 294-158 《深度無監督學習》中英字幕版，等了好久，今天終於正式上線啦！  豐富的課程內容本課程將涵蓋深度學習中不需要標註數據的兩個領域：深度生成模型和自監督學習。
  • 李沐老師在伯克利開新課了,深度學習教材已經開源,視頻也會有的
    慄子 發自 凹非寺 量子位 報導 | 公眾號 QbitAI李沐老師的新課，這個月就要在伯克利
  • 重磅!12.20 WAVE SUMMIT+2020深度學習開發者峰會來襲
    12.20 WAVE SUMMIT+2020深度學習開發者峰會來襲） 2020年末的一場「極客盛宴」本周日即將開啟！由深度學習技術及應用國家工程實驗室與百度聯合主辦的WAVE SUMMIT+2020深度學習開發者峰會將於12月20日在北京舉行。
  • 伯克利新課:深度無監督學習視頻+PPT+100篇講師精選論文
    新智元報導 來源：伯克利編輯：元子Pieter Abbeel是加州大學伯克利分校教授，EECS，BAIR，CHAI，師從吳恩達。現任伯克利機器人學習實驗室主任、伯克利人工智慧研究（BAIR）實驗室聯合主任；covariant.ai聯合創始人，總裁兼首席科學家、OpenAI顧問。
  • 海康威視提出:無監督圖像分類的深度表徵學習
    論文：https://arxiv.org/abs/2006.11480最近因為工作原因，對半監督和無監督論文比較感興趣，今天看到一篇講圖像分類無監督的文章"Unsupervised Image Classification
  • Yann LeCun送你的春節大禮:免費學習全部2020春季深度學習課程
    春季Deep Learning（深度學習）課程所有課程資料已經免費向全網開放啦！本篇文章所透露的信息，對於廣大深度學習愛好者和學習者來說，絕對是「重磅福利」！！ 紐約大學數據科學中心（NYU Center for Data Science）宣布，「深度學習三巨頭」之一的Yann LeCun2020春季開設的深度學習課程——DS-GA 1008，所有材料和資源全部免費向全網開放！
  • UC伯克利出品,深度強化學習最新課程已上線
    作者：杜偉、小舟主題涵蓋深度強化學習領域的方方面面，UC 伯克利 CS 285 2020 秋季課程視頻放出。當地時間 10 月 11 日，UC 伯克利電氣工程與計算機科學系（EECS）助理教授 Sergey Levine 在推特上宣布，他講授的 CS285 深度強化學習（RL）課程已經放出了部分視頻，並表示之後每周會實時更新後續課程。
  • 伯克利Fall2018最新CS294:深度強化學習課程
    【導讀】伯克利在秋季學期開設了《深度強化學習課程》，有6名老師和28節課程，是想學習強化學習的讀者不可錯過的一門課程。此外，機器人還會監督自己的學習過程。個人主頁：https://people.eecs.berkeley.edu/~svlevine/Gregory Kahn，加州大學伯克利分校博士生。
  • 深度學習預習資料：圖靈獎得主Yann LeCun《深度學習》春季課程
    轉眼 2020 年已經過半，又一屆深度學習方向的準研究生即將踏上2016：人工智慧從入門到進階，機器之心高分技術文章全集 今天要介紹的是一份比較適合入門深度學習的課程：紐約大學數據科學中心《深度學習（Pytorch）》2020
  • BMVC18|無監督深度關聯學習大幅提高行人重識別性能(附Github地址)
    Learning for Unsupervised Video Person Re-identification》，使用無監督學習解決行人重識別的問題，更加貼近行人重識別的應用場景，同時性能也大幅提升。
  • 深度學習準「研究僧」預習資料:圖靈獎得主Yann LeCun《深度學習(Pytorch)》春季課程
    開學進入倒計時，深度學習方向的準「研究僧」們，你們準備好了嗎？轉眼 2020 年已經過半，又一屆深度學習方向的準研究生即將踏上「煉丹」之路。對於這一方向的新生來說，提前了解、學習這一專業領域的知識，會讓研究生涯有一個更加順暢的開端。列出的這些課程僅是冰山一角。
  • 比監督學習做的更好:半監督學習
    儘管大多數人通常在GANs中使用訓練很好的生成器，可以生成和數據集中相似的圖像，判別器還是可以通過以轉移學習作為起點在相同的數據集上建立分類器，允許監督任務從無監督訓練中受益。由於大部分的圖像特徵已經被學習，因此進行分類的訓練時間和準確率會更好。然而，在SGAN中，判別器同時接受兩種模式的訓練：無監督和監督。
  • MIT新課上線:TensorFlow實操快速掌握「深度學習」
    今天我們向大家介紹一門MIT新課6.S191：深入「深度學習」。MIT官方座右銘是「Mens et Manus」：理論、實踐兩手抓，兩手都要硬。MIT的課程設置也秉承了動腦更要動手的原則，具有很高的實操性。
  • 【官方授權】2018 秋季伯克利大學 CS 294-112 《深度強化學習...
    CS 294-112 《深度強化學習》，於本周四（2018 年 12 月 20 日）正式上線中文字幕版。伯克利大學 CS 294-112 《深度強化學習》為官方開源最新版本，由伯克利大學該門課程授課講師 Sergey Levine 授權 AI 研習社翻譯。
  • 伯克利《深度強化學習》更新 | 第十三講:利用模仿優化控制器學習...
    心動了嗎，趕快將「AI研習小組」小程序添加到「我的小程序」吧！隨時隨地都能學習名校經典課程，和上千位小夥伴們一起，共同進步。  課程介紹伯克利 CS 294-112 《深度強化學習》為官方開源最新版本，由伯克利大學該門課程授課講師 Sergey Levine 授權 AI 研習社翻譯。
  • 開學三周了快補課:伯克利CS 294深度強化學習課,有視頻有課件
    不過，加州伯克利已經開課3周了。深度強化學習課程CS 294-112，當然也不例外。8月22日到現在，從行為的監督學習，講到了策略梯度和演員-評論家，前六節課的視頻已經放出來了。學習，學習一會兒要上這門深度強化學習，要先上過CS 189，那是機器學習基礎課。有了基礎的大家，來看一下CS 294都會涉及哪些內容：
  • 什麼是無監督學習?
    從原理上來說，PCA等數據降維算法同樣適用於深度學習，但是這些數據降維方法複雜度較高，所以現在深度學習中採用的無監督學習方法通常採用較為簡單的算法和直觀的評價標準。比如無監督學習中最常用的方法——聚類。聚類，就是將觀察值聚成一個一個的組，每一個組都含有一個或者幾個特徵。
  • 機器學習實戰-監督學習、無監督學習
    上一篇：機器學習實戰-特徵選擇之遞歸特徵消除最近兩天收到同學的私信，對於算法中的一些監督學習，無監督學習不是很了解，也不知道從何下手，本篇小編就來介紹一下這三者是什麼東西。本文章節1、監督學習2、無監督學習3、兩者的區別4、兩者的使用場景監督學習監督學習，小編有個簡單的理解方式，按照這個順序來理解1、有兩撥人，一撥人是好人，一撥是壞人2、好人的行為特徵有：扶老奶奶過馬路，撿到一分錢交給警察叔叔，當志願者等等3、壞人的行為特徵有：偷東西
  • 伯克利&清華從GPT等預訓練語言模型中無監督構建出知識圖譜!
    近日，AI科技評論發現了一篇伯克利和清華的團隊的研究「從預訓練語言模型生成知識圖譜」的論文。論文連結：https://arxiv.org/abs/2010.11967這篇論文有以下三點貢獻：1、展示了如何從預訓練語言模型中構建知識圖譜。2、提出了一種無監督的兩階段方法：MAMA。
  • 深度 | 當前最好的詞句嵌入技術概覽:從無監督學習轉向監督、多任務學習
    目前最常用的模型是 word2vec 和 GloVe，它們都是基於分布假設（在相同的上下文中出現的單詞往往具有相似的含義）的無監督學習方法。儘管像平均詞嵌入這樣簡單的基線也能夠一直給出很好的實驗結果，但一些新的類似於無監督和監督學習以及多任務學習的方法，在 2017 年底 2018 年初出現在了人們的視野中，並且取得了令人矚目的性能提升。讓我們快速瀏覽一下目前研究出來的四種嵌入方法吧：從簡單的詞向量平均的基線到無監督/監督學習方法，以及多任務學習方案（如上文所述）。