大數據文摘出品
作者：魏子敏、蔣寶尚
繼谷歌和微軟的人工智慧實踐課程後，Elon Musk和Sam Altman主導創立的OpenAI剛剛也發布了一門教學+練手的全能課程「Spinning Up in Deep RL」，希望將他們最擅長的技術——深度強化學習能力分享出來，讓更多技術人掌握。
先上課程地址
OpenAI地址：
https://spinningup.openai.com/en/latest/index.html
GitHub地址：
https://github.com/openai/spinningup/blob/master/docs/user/running.rst
由OpenAI來上強化學習這門課再合適不過了。今年8月份，OpenAI率領的AI戰隊，就是憑藉這一核心技術能力，在與人類高手對決的DOTA2比賽中，贏得了個人賽，並且在團戰中表現不俗。
強化學習是目前最流行的教機器人玩遊戲的方法之一，也是在複雜場景下，人工智慧進行決策的重要技術。
簡單來解釋下強化學習，假設你交給機器人一個任務，比如拾取金幣，強化學習會在機器人完成任務時給予適當的獎勵。這樣機器人下一次執行任務時，就更願意採取「正確」行動。在經歷數百次、數千次，甚至數百萬次的嘗試之後，機器就能逐漸學習到完成任務時所需的策略。
OpenAI人工智慧研究實驗室一直通過強化學習技術訓練機器人玩遊戲，也一直是這一技術的全球引領者。昨天，OpenAI發博客宣布了深度強化學習教學資源集的正式發布。「Spinning Up in Deep RL」項目內含教程、清晰的RL代碼示例、課程習題、文檔等同步學習資料，稱旨在讓任何人學習成為深度強化學習的熟練實踐者。
在DEEP RL中邁出第一步
在博客中，OpenAI強調了深度強化學習的重要性，雖然市面上有非常多的資源幫助人們快速學習這些知識。但是深入下去還是會遇到非常多的困難。OpenAI發布的Spinning Up能夠幫助人們學習使用這些人工智慧技術並培養對人工智慧的直覺。
據悉，這個項目的設計靈感，來自於和OpenAI學者和研究員計劃的合作。OpenAI觀察到，機器學習非常小白的玩家，如果在一開始能夠獲得正確的指導和資源，就會在短時間大幅度提升他的專業能力。
Spinning Up in Deep RL 還能夠為一些跨學科的領域提供幫助，例如人工智慧安全，不光需要強化學習，還需要其他學科技能的輔助。
OpenAI認為，了解RL算法最好的方法是在代碼中運行一遍，通過藉助Spinning Up，代碼編寫變得會更加簡單：
代碼示例：python -m spinup.run ppo --env CartPole-v1 --exp_name hello_world
Spinning Up實現了與Classic Control，Box2D或MuJoCo任務套件中的Gym環境兼容。OpenAI還為新手設計了Spinning Up的代碼。簡潔，友好，易於學習的設計使得小白更容易上手。OpenAI目標是避免通常存在於深度RL庫中的抽象和混淆層。並且對代碼進行了注釋，以便編程者更加了解所使用的代碼。
Spinning Up in Deep RL項目 主要由以下幾部分組成：
RL術語，各種算法和基本理論的簡短介紹。一篇關於如何成長為RL研究員的文章。按主題分類的重要論文的精選清單。詳細記錄了關鍵算法的文檔、使用其可以獨立實現代碼，包括： Vanilla Policy Gradient (VPG), Trust Region Policy Optimization (TRPO), Proximal Policy Optimization (PPO), Deep Deterministic Policy Gradient (DDPG), Twin Delayed DDPG (TD3), and Soft Actor-Critic (SAC).當然，為了實踐需要，還有一些必不可少的練習。
OpenAI開啟全球教育計劃
OpenAI也通過這一項目宣告了一個全球教育計劃的開啟，「Spinning Up in Deep RL只是OpenAI新教育計劃的一部分，在一定程度上是對OpenAI願景的延伸：創建一個全球的社區，共同應對AGI的挑戰。OpenAI希望利用這個項目幫助迅速推進安全且廣泛有益的人工智慧。
2019年2月2日，在舊金山OpenA將會I舉辦一場關於Spinning Up in Deep RL的研討會。研討會將包括3小時的講座和5小時的半結構化黑客攻擊，項目開發和分組會議，研討會期間OpenAI技術人員全程指導。
奉上工作坊報名連結，舊金山的讀者可以順路一看哦：
https://docs.google.com/forms/d/e/1FAIpQLSdWbG3H3JYC2Vp-bC1yeP1SL_DSi6laLNjW1RjvEEzlA1V6rg/viewform
OpenAI也歡迎更多人參與這一教育項目，並開放了相關工作職位
https://openai.com/jobs/
OpenAI稱還將與其他組織合作，幫助他們開展教育計劃，包括加州大學伯克利分校的人類兼容人工智慧中心（CHAI）。
最後，附上這一課程項目的完整內容表