6行代碼搞定基本的RL算法,速度圍觀Reddit高贊帖

新智元報導

來源：reddit

編輯：張佳

【新智元導讀】今天和大家分享Reddit上的一個熱帖，樓主用PyTorch實現了基本的RL算法，而且每個算法都在一個文件夾中完成，即使沒有GPU，每個算法也可以在30秒內完成訓練。

近日，有開發人員用PyTorch實現了基本的RL算法，比如REINFORCE, vanilla actor-critic, DDPG, A3C, DQN 和PPO。這個帖子在Reddit論壇上獲得了195個贊並引發了熱議，一起來看一下吧。

特點如下：

每個算法都在一個文件中完成。

每個算法的長度可達100~150行代碼。

即使沒有GPU，每個算法也可以在30秒內完成訓練。

Envs固定在「CartPole-v1」上，你只需關注執行。

minimalRL-pytorch算法：

1. REINFORCE（66行）

2. TD Actor-Critic（97行）

3. DQN（113行，包括重放內存和目標網絡）

4. PPO（116行，包括GAE）

5. DDPG（149行，包括OU噪聲和軟目標更新）

6. A3C（116行）

7. 有什麼建議嗎？

依賴配置：

1. PyTorch

2. OpenAI GYM

使用：

# WorksonlywithPython 3.# e.g.python3REINFORCE.pypython3actor_critic.pypython3dqn.pypython3ppo.pypython3ddpg.pypython3a3c.py

評論中，不少朋友表示了對樓主的認可和感謝：

Dump7留言：「可以！這是我見過的最美的東西之一。我不是一個能用框架編寫NN的人。但我正在努力。這將在很大程度上幫助到我。謝謝你做了這個。但是你能為基本的CNN和RNN製作這樣的單一文件代碼嗎？」

CodeReclaimers表示：「謝謝你分享這個——我知道把代碼簡化到最少是很費事的。特別好的是，你的代碼將依賴配置控制在最低限度。通常都是，我去尋找可以學習的例子，要花至少30多分鐘來收集所有依賴配置，結果發現我的平臺上少了一些關鍵的東西。」

Reddit上的討論：

https://www.reddit.com/r/MachineLearning/comments/bt8sap/p_implementations_of_basic_rl_algorithms_with/

Github資源：

https://github.com/seungeunrho/minimalRL