DeepMind推出深度學習與強化學習進階課程(附視頻)

2020-12-20 機器之心Pro

機器之心報導

參與：張倩、李澤南

在 OpenAI 推出強化學習課程 Spinning Up 後不久。昨天，DeepMind 與 UCL 合作推出了一門深度學習與強化學習進階課程，以在線視頻形式呈現。該課程共有 18 節課，每節課都長達 1 小時 40 分鐘，內容從深度學習框架 TensoFlow 的介紹到構建遊戲智能體，可謂全面。

課程地址：https://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs

該課程最初在倫敦大學學院（UCL）進行，為方便在線觀看進行了錄像。多位 DeepMind 的研究人員、UCL 教師參與了課程的設計。

參與課程製作的 DeepMind/UCL 團隊

課程由兩部分組成，一是包含深度神經網絡的機器學習，二是利用強化學習進行預測和控制，兩個部分相互穿插。在探討深度學習的過程中，這兩條線交匯在一起，其中的深度神經網絡被訓練為強化學習背景下的函數逼近器。

課程中的深度學習部分首先介紹了神經網絡及使用 TensorFlow 的監督學習，接下來探討了卷積神經網絡、循環神經網絡、端到端及基於能量的學習、優化方法、無監督學習、注意力及記憶。涉及的應用領域包括目標識別和自然語言處理。

第一課視頻截圖

深度強化學習部分介紹了馬爾科夫決策過程、動態規劃、無模型預測與控制、值函數近似、策略梯度方法、學習與規劃整合、探索/利用困境等。涉及的應用領域包括學習玩經典棋盤遊戲或電子遊戲等。

第一課視頻：

從第一課來看，本課程將講解 DeepMind 的 AI 方法，深度強化學習在雅達利、AIphaGo 等遊戲中的應用。

課程目錄

深度學習 1：基於機器學習的人工智慧簡介

深度學習 2：TensorFlow 簡介

深度學習 3：神經網絡基礎

強化學習 1：強化學習簡介

強化學習 2：探索和利用

強化學習 3：馬爾科夫決策過程及動態規劃

強化學習 4：無模型預測與控制

深度學習 4：圖像識別之外、端到端學習、嵌入

強化學習 5：函數逼近及深度強化學習

強化學習 6：策略梯度及 Actor Critic 算法

深度學習 5：用於機器學習的優化

強化學習 7：規劃與模型

深度學習 6：用於自然語言處理的深度學習

強化學習 8：深度強化學習進階主題

深度學習 7：深度學習中的注意力與記憶

強化學習 9：深度強化學習智能體概覽

深度學習 8：無監督學習和生成模型

強化學習 10：經典遊戲案例學習

課程門檻

當然，這樣一門進階課程也是有一定門檻的。授課者提到，去年就有很多人抱怨課程負擔太重。選這門課程的人需要懂 Python，還要有很多其他知識儲備。另外，由於授課者都是活躍在學界的頂級研究者，課程會直接延伸到當前的研究前沿。

教師寄語：做好準備，迎接挑戰！（brace yourselves！）

今天有哪些論文值得一讀？掃碼開啟訂閱，每天15:00及時速遞。

相關焦點

  • 資源 | UC Berkeley CS 294深度強化學習課程(附視頻、學習資料)
    本文主要介紹了課程中的強化學習主題，涉及深度強化學習的基本理論與前沿挑戰。CS294 深度強化學習 2017 年秋季課程的所有資源已經放出。該課程為各位讀者提供了強化學習的進階資源，且廣泛涉及深度強化學習的基本理論與前沿挑戰。本文介紹了該課程主要討論的強化學習主題，讀者可根據興趣愛好與背景知識選擇不同部分的課程。
  • David Silver深度強化學習課程「中文字幕」— #共同學習
    AlphaGo 底層核心技術包括深度學習（deep learning）、強化學習（reinforcement learning），和蒙特卡洛搜索樹（Monte Carlo tree search）。 課程中也涉及最近的熱點：深度強化學習。強化學習不同於監督學習。強化學習沒有像監督學習中那樣明確的標識，比如分類問題中的類別。同時，強化學習考慮序列決策（sequential decision making）問題，當前的決策就需要進行全局考慮，也會影響以後的決策。而監督學習則只考慮一步決策問題。
  • DeepMind深度學習高級課程,視頻已全部放出
    課號COMPGI22，名叫高級深度學習和強化學習 (Advanced Deep Learning and Reinforcement Learning) ，是今年早些時候結課的。面對這一喜訊，推特上的小夥伴們紛紛馬克，奔走相告。
  • 蒙特婁大學開放MILA 2017夏季深度學習與強化學習課程視頻
    2016 年，Aaron Courville 和 Yoshua Bengio 組織的 MILA 深度學習夏季課程獲得了極大的關注。今年，新一屆的 MILA 深度學習與強化學習夏季課程開放了 PPT 和教學視頻。機器之心摘選了 Bengio、Goodfellow 和 Sutton 的部分亮點並簡要介紹了該課程。
  • DeepMind悄咪咪開源三大新框架,深度強化學習落地希望再現
    作者 | Jesus Rodriguez譯者 | 夕顏【導讀】近幾年，深度強化學習（DRL）一直是人工智慧取得最大突破的核心。儘管取得了很多進展，但由於缺乏工具和庫，DRL 方法仍難以應用於主流的解決方案。因此，DRL 主要以研究形式存在，並未在現實世界的機器學習解決方案中得到大量應用。解決這個問題需要更好的工具和框架。
  • UC Berkeley CS 294深度強化學習課程(附視頻與PPT)
    CS294 深度強化學習 2017 年秋季課程的所有資源已經放出。
  • 深度強化學習入門到精通--資料綜述
    當然，強化學習也面臨很多問題，希望我們一起解決，讓強化學習變得更好！[1]1. 視頻（從入門到放棄）1.1 騰訊_周沫凡_強化學習、教程、代碼https://www.bilibili.com/video/av16921335?
  • DeepMind綜述深度強化學習中的快與慢,智能體應該像人一樣學習
    這些技術允許深度強化學習更靈活地進行操作，能夠比之前的方法更快速地解決問題。深度強化學習的快與慢近期的 AI 研究引出了強大的技術，如深度強化學習。深度強化學習將表示學習和獎勵驅動的行為結合起來，似乎與心理學和神經科學具備內在的相關性。然而深度強化學習需要大量訓練數據，這表明深度強化學習算法與人類學習的底層機制存在根本區別。
  • David Silver深度強化學習課程 - 中文字幕 | 共同學習 #05
    AlphaGo 底層核心技術包括深度學習（deep learning）、強化學習（reinforcement learning），和蒙特卡洛搜索樹（Monte Carlo tree search）。 在這門強化學習的課程中，Silver 博士從簡介、馬爾科夫決策過程（Markov Decision Processes）、免模型預測（Model-free Prediction）、免模型控制（Model-free Control）、值函數近似（Value Function Approximation）、策略梯度算法（Policy Gradient）、集成學習和計劃（Integrating
  • David Silver深度強化學習課程 - 中文字幕 | 共同學習 #03
    AlphaGo 底層核心技術包括深度學習（deep learning）、強化學習（reinforcement learning），和蒙特卡洛搜索樹（Monte Carlo tree search）。 在這門強化學習的課程中，Silver 博士從簡介、馬爾科夫決策過程（Markov Decision Processes）、免模型預測（Model-free Prediction）、免模型控制（Model-free Control）、值函數近似（Value Function Approximation）、策略梯度算法（Policy Gradient）、集成學習和計劃（Integrating
  • 【深度強化學習】專業解讀「深度強化學習「:從AlphaGo到AlphaGoZero
    2013年，DeepMind團隊發表了一篇關於深度強化學習應用於Atari視頻遊戲的重量級論文，首次在複雜高維的狀態空間下使用深度強化學習學會了遊戲策略。該文章中提出的深度強化學習框架被稱為深度Q網絡（DeepQ Network：DQN）。2015年，DeepMind團隊進一步完善了DQN算法，並將研究成果發表在Nature上。
  • 【AlphaGoZero核心技術】深度強化學習知識資料全集(論文/代碼/教程/視頻/文章等)
    Alpha Zero的背後核心技術是深度強化學習，為此，專知特別收錄整理聚合了關於強化學習的最全知識資料，歡迎大家查看！/drl強化學習系列之三:模型無關的策略評價http://www.algorithmdog.com/reinforcement-learning-model-free-evalution【整理】強化學習與MDPhttp://www.cnblogs.com/mo-wang/p/4910855.html強化學習入門及其實現代碼http://www.jianshu.com/p/165607eaa4f9深度強化學習系列
  • 吳恩達Deeplearning.ai課程學習全體驗:深度學習必備課程
    吳恩達最近推出的 deeplearning.ai 課程就是這樣的存在。 該課程一在 coursera 上發布，我立即註冊並花了四個晚上觀看其中的講座、參加考試、完成編程作業並通過了課程。 深度學習從業者和機器學習工程師通常會把大量時間花費在 Keras 與 TensorFlow 這樣的抽象工作中。
  • 伯克利《深度強化學習》更新 | 第十三講:利用模仿優化控制器學習...
    進入小組：https://ai.yanxishe.com/page/groupDetail/30 觀看完整視頻同時，針對這門課程，我們同樣開設了微信社群，回復字幕君（微信：leiphonefansub）你加入該課程小組的截圖我們將你拉入微信群聊加時備註「CS294加群」~  小組介紹
  • 吳恩達Deeplearning.ai課程學習全體驗:深度學習必備課程(已獲證書)
    在全職工作與家庭瑣事之間，很多人都希望利用自己的剩餘時間學習認知科學和人工智慧的知識，如果突然出現了一套優秀的課程，那麼一切就會變得簡單起來。吳恩達最近推出的 deeplearning.ai 課程就是這樣的存在。該課程一在 coursera 上發布，我立即註冊並花了四個晚上觀看其中的講座、參加考試、完成編程作業並通過了課程。
  • DeepMind 綜述深度強化學習:智能體和人類相似度竟然如此高!
    不過 Deep RL 需要大量的訓練數據，人們開始質疑深度強化學習過於依賴樣本，導致效率低下，無法與人類學習的合理模型相匹配。但在本文中，DeepMind 研究人員將利用最近開發的技術來駁回這些質疑聲，這些技術不僅允許深度強化學習更靈活地運行，而且還使其更高效地解決問題。
  • 專題| 深度強化學習綜述:從AlphaGo背後的力量到學習資源分享(附...
    而在最近深度學習的突破性進展之下（LeCun et al., 2015; Goodfellow et al., 2016），得益於大數據的普及、計算能力的提升及新的算法技術，我們正見證著強化學習的復興（Krakovsky, 2016），特別是強化學習及深度學習的結合（也就是深度強化學習（deep RL））。
  • 資源|李宏毅中文《機器學習/深度學習》2019上線(附ppt及視頻分享)
    ，授課語言為中文，且全部開放了課程視頻。他的研究方向主要是機器學習（深度學習）和語音識別。課程目錄和截圖回歸、梯度下降誤差來源、分類、邏輯回歸深度學習、反向傳播、異常檢測CNN、Keras、對抗性攻擊訓練深度模型、可解釋 AIRNN、Order LSTMEnsemble半監督式學習、遷移學習、終身學習元學習seq2seq、Transformer
  • reddit高贊資源:20h系統性深度學習&強化學習課程,視頻、PPT、代碼全都有 | 免費
    最近，一套深度學習和強化學習的免費課程在reddit上引起網友關注，獲贊690+。只因其不僅形式豐富，還綜合了基礎理論和具體應用，幫你將幾何學、統計學等相關理論串聯起來，解決複雜的問題。對於初學者來說，稱得上是個學習大禮包了。
  • 大腦也在用分布式強化學習?DeepMind新研究登上《Nature》
    自從 2013 年以來，深度強化學習開始受到關注：在強化學習中使用深度神經網絡來學習更強的表示，使強化學習算法解決了精巧性和實用度等問題。分布式強化學習是一種能讓神經網絡更好地進行強化學習的算法之一。在許多的情況下，尤其是很多現實情況中，未來獎勵的結果實際上是依據某個特定的行為而不是一個完全已知的量進行的預測，它具有一定的隨機性。