DeepMind 第四代:不學規則就能下棋玩遊戲

近日，谷歌 DeepMind 人工智慧已進化到第四代，名為 MuZero，最突出的能力是無需提前學習規則就可以下棋玩遊戲。

谷歌稱 MuZero 可以未知環境中計劃獲勝策略，無需學習規則，便能掌握 Go（圍棋）, chess（西洋棋）, shogi（日本將棋）和 Atari（電子遊戲）。這和 MuZero 的前幾代——AlphaGo，AlphaGo Zero，AlphaZero 有很大的區別。

第一代 AlphaGo 早在 2016 年就可以擊敗世界圍棋冠軍，但需要先輸入遊戲規則和大量人類實戰的數據進行訓練。AlphaGo Zero 只需事先輸入規則，無需學習人類實戰的數據。到了第三代 AlphaZero，除了可以自主學會圍棋，也通過事先了解規則，掌握了西洋棋和日本將棋。其原理是通過強大的前瞻性樹搜索功能，基於超前搜索，依賴環境動態知識，如遊戲規則或精確的模擬器來應對變化。但因為現實中的許多問題複雜且難以提煉簡單規則，所以這種模型實際上很難被應用在更廣泛的領域中。

MuZero 則是通過基於模型的計劃來做決策，學習環境中的精確模型，並做出規劃以解決問題。此外，MuZero 並沒有嘗試對整個環境建模，只是對代理商決策過程中的重要方面進行建模，以便在複雜要素環境中更快作出決策。其環境建模三要素為：

The value: 當前位置的價值有多高？ The policy: 採取哪種行動最好？ The reward: 最後一個動作怎麼樣？

在谷歌的測試中，MuZero 在 Atari 遊戲中的表現優於此前所有算法，並與 AlphaZero 在圍棋，象棋和將棋上的超人類水平性能相匹配。

發布詳情：https://deepmind.com/blog/article/muzero-mastering-go-chess-shogi-and-atari-without-rules