編者按：本文來自微信公眾號「量子位」（ID：QbitAI），由維金編譯整理，36氪經授權發布。
DeepMind在神經科學和人工智慧結合的探索上又有新進展。
海馬體「預測地圖」有沒有想過這些問題：你是如何選擇的上班路線，你是如何決定搬家去哪裡，下棋的時候你是怎麼決定走出那一步？
所有這些場景中，其實都存在一個估計：你的決策在未來能獲得多大的回報。
這很微妙，你考慮的未來越遠，可能出現的情況總數就會更多。理解我們這方面的行為是神經科學研究的一個重要課題，而在人工智慧研究中，開發能有效預測未來回報的系統也是個關注重點。
在《自然神經科學》（Nature Neuroscience）上新發布的論文中，DeepMind將神經科學知識應用於機器學習中的數學理論，從而帶來關於學習和記憶本質的新見解。
具體來說，DeepMind認為，大腦中的一塊區域，即海馬體，對這個問題提供了獨特的解決方案。海馬體運用被DeepMind稱作「預測地圖」的機制來高度總結未來的事件。
傳統觀點認為，海馬體只反映動物當前的狀態，尤其是在迷宮穿梭等空間任務中。這種觀點獲得了很多支持，因為在齧齒動物的海馬體中發現了「位置細胞」：當動物處於特定位置時，這些細胞將會被激活。
（量子位註：2014年諾貝爾生理或醫學獎，被授予了美英雙國籍的神經生物學家John O』Keefe以及挪威的神經生物學家May-Britt Moser和Edvard Moser夫婦，以表彰他們在位置細胞和格點細胞上的神經生理學工作。他們的研究發現了位於大腦海馬及內嗅皮層中的一些對空間位置有特異性的特殊神經元，這些神經元構成了一個精巧的定位系統，使人們能夠認知自己在空間中所處的位置，並幫助人們進行導航。）
儘管這種理論可以解釋許多神經生理學發現，但無法完全解釋，為何海馬體也參與了其他功能，例如記憶、關係推理和決策。
DeepMind的新理論認為，在計算未來最大回報的過程中，思維導航是種更常見的問題。DeepMind的結論來自於人工智慧研究的子學科強化學習。這種學習方法關注不斷試錯的系統。
DeepMind的關鍵思路是，為了估計未來回報，人工智慧agent（智能體）必須首先估計，在每種狀態下預計能獲得多少立即回報，隨後根據每種狀態未來發生的可能性評估這些回報。通過總結所有可能狀態下的加權回報，agent可以得出對未來回報的估計。
類似的，DeepMind認為海馬體代表了全部狀態，即海馬體預測到的未來所有狀態。
例如，如果你即將下班（即當前狀態），那麼海馬體會做出這樣的預測：你很快就會動身，前往學校接孩子，最後回到距離更遠的家中。
通過判斷每個當前狀態與預期後續狀態的關係，海馬體可以對未來事件做出高度的總結，這種行為的學名是「後續表現」。DeepMind認為，這種特殊形式的預測地圖使大腦可以在回報不斷變化的環境中迅速適應環境，同時不必對未來展開計算開銷極高的模擬。
這種思路結合了兩種算法的優勢。這兩種算法已在強化學習的研究中很知名，同時也被認為存在於人類和齧齒動物的大腦中。「基於模型」的算法能學習環境模型，隨後通過模擬得出對未來回報的估計。「無模型」算法則直接從環境經驗中得出對未來回報的估計。基於模型的算法很靈活，但有著很大的計算開銷。無模型算法計算開銷較小，但不太靈活。
DeepMind理論中的算法結合了基於模型算法的靈活性，以及無模型算法的計算效率。由於計算過程是簡單的加權求和，因此計算過程非常高效，類似於無模型算法。與此同時，通過區分回報預期和狀態預期（即預測地圖），算法可以在維持狀態預期不變的情況下刷新回報預期，從而快速適應回報的改變。
DeepMind計劃在未來工作中進一步檢驗這種理論。由於預測地圖理論可以被轉換為多種神經網絡架構，因此DeepMind希望探索這種學習策略如何推動靈活快速的規劃。
在更普遍的意義上，未來的一項主要任務是研究大腦如何整合不同類型的學習方式。儘管DeepMind用這個模型去替代大腦中基於模型和無模型的學習方式，但更貼近現實的情況是，在學習和規划過程中，大腦同時展開了多種類型的學習。
理解這些學習算法如何配合運轉是理解人類和動物大腦的重要一步，也將指導DeepMind設計複雜、多面的人工智慧。
只有了解大腦，才能開發出更強的AI因為創造出AlphaGo而名滿天下的DeepMind，一直在思考人工智慧如何達到下個高度。
在DeepMind創始人哈薩比斯看來，答案就在於人類中間，或者說人類的身體中。他一直認為，人工智慧需要與神經科學重新建立聯繫。只有更多地了解自然智能，我們才能真正理解（並開發出）人工智慧。
下面這段，摘自自哈薩比斯7月的一次訪談。
問：你以往曾討論過，DeepMind最大的目標之一是開發人工智慧，促進更多的科學發現，使其成為提高人類創造力的工具。神經科學如何幫助你達到這個目標？
哈薩比斯：實際上有兩種方式。其中之一是將神經科學作為算法和架構理念的靈感來源。關於開發通用智能的可行性，人類大腦是唯一現存的證明。因此我們認為，有必要付諸努力，嘗試並理解這些能力是如何形成的。隨後我們可以看看，是否有些辦法，將其轉移至機器學習和人工智慧。
這也是我在博士階段研究神經科學的原因：關注大腦的記憶和想像力，理解大腦中的哪些區域參與其中，存在什麼樣的機制，隨後使用這些知識幫助我們思考，如何在人工智慧系統中實現同樣的功能。
我們試圖理解的另一方面是，智能究竟是什麼，這也包括自然智能，人類的智力。因此我認為，可能會出現反向的幫助。利用可以完成有趣任務的人工智慧算法，我們可以了解，應該如何看待大腦本身。我們可以使用這些人工智慧系統作為模型，了解大腦中正在發生什麼。
問：你提到大腦的想像力、預測未來的能力，是改進AI的關鍵功能。能不能舉個例子，說明AI怎麼才能擁有這些能力？
哈薩比斯：這些高級的想法目前還在很基礎的階段。先有記憶，然後再有想像。大腦裡有不同的存儲系統。比方說短期工作記憶，可以用來記住電話號碼這種不長的信息。另外還有場景記憶，這是一種長期記憶，甚至你在睡覺的時候都能從中學習經驗。
這只是一個想法，不同的記憶存儲系統，對AI來說很有價值。傳統的神經網絡沒有太多的記憶，只專注於當時當刻。為了改變這個情況，人類發明了神經圖靈機，讓神經網絡可以連接並使用一個很大的擴展存儲器。這是一個神經科學啟發的想法。
然後我們來說想像，這是人類和一些動物，對世界的生成模型，這種模型被用來在現實世界行動之前，評估和規劃將會發生什麼，以及可能產生的後果。
想像力是一個非常強大的規劃工具。你需要建立一個世界的模型，然後使用這個模型去預測，還要及時向前推進。所以，當我們開始拆解想像力的構成時，就能獲得一些關於構建想像力所需功能的線索。
論文&下載DeepMind最新發表在《自然神經科學》的這篇論文，去年12月提交，今年8月29日被接受，10月2日正式在線發布。
《自然神經科學》的訂閱用戶，可以前往下面這個網址查看論文：
http://www.nature.com/neuro/journal/vaop/ncurrent/full/nn.4650.html?foxtrotcallback=true