大腦的記憶能力啟發了AI專家，使神經網絡不再那麼「健忘」

2020-09-18 工程學習


麻省大學阿默斯特分校和貝勒醫學院的人工智慧（AI）專家報告說，他們已經從已知的人腦記憶機制中汲取了靈感，從而成功解決了所謂的「增加AI功能的長期存在的主要障礙」作為「重播」。

Baylor的第一作者和博士後研究員Gido van de Ven和首席研究員Andreas Tolias與UMass Amherst的Hava Siegelmann一起在Nature Communications中寫道，他們已經開發出一種新方法來保護「令人驚訝地有效」的深度神經網絡免受「災難性遺忘」 ;「 在學習新課程後，網絡會忘記他們以前學過的東西。

Siegelmann及其同事指出，深度神經網絡是最近AI進步的主要驅動力，但這種遺忘阻礙了進步。

他們寫道：「一種解決方案是存儲先前遇到的示例，並在學習新知識時重新訪問它們。儘管這樣的「重播」或「排練」解決了災難性的遺忘，」他們補充說，「對所有先前學習的任務進行持續的重新培訓效率非常低，必須存儲的數據量很快變得難以管理。」

與AI神經網絡不同的是，人類可以在早期課程的基礎上不斷累積信息。他們解釋說，被認為可以保護記憶免受遺忘的大腦重要機制是再現代表這些記憶的神經元活動模式。

西格爾曼說，該團隊的主要見解在於「認識到大腦中的重放不會存儲數據」。相反，「大腦可以在更高，更抽象的層次上生成記憶的表示，而無需生成詳細的記憶。」 受此啟發，她和同事們創造了類似於大腦的人工回放，其中沒有存儲任何數據。相反，就像大腦一樣，網絡會生成以前所見事物的高級表示。

事實證明，「抽象的生成性大腦重放」非常有效，並且該團隊表明重放僅幾個生成的表示足以記住舊記憶，同時學習新記憶。生成性重放不僅可以防止災難性的遺忘，而且還為系統學習提供了一種新的，更簡化的路徑，它還使系統可以將學習從一種情況推廣到另一種情況。

例如，「如果我們具有生成性重放功能的網絡首先學會將貓與狗分開，然後將熊與狐狸分開，那麼它也會在沒有經過專門培訓的情況下告訴貓與狐狸。而且，值得注意的是，系統學到的越多，學習新任務越好。」 van de Ven說。

他和同事寫道：「我們提出了一種全新的，受大腦啟發的重播變體，其中重播由網絡自身的上下文調製反饋連接生成的內部或隱藏表示形式。我們的方法可實現最新的性能在不存儲數據的情況下挑戰不斷學習基準的挑戰，它為大腦中的抽象水平重放提供了一種新穎的模型。」

範德文說：「我們的方法對重播可能有助於大腦記憶鞏固的方式做出了一些有趣的預測。我們已經在進行實驗，以測試其中的一些預測。」

相關焦點

  • 大腦的記憶能力會激發AI專家減少神經網絡的「健忘」能力
    貝勒的第一作者和博士後研究員吉多·范德文和首席研究員安德裡亞斯·託裡亞斯與麻薩諸塞大學阿默斯特分校的哈瓦·西格曼一起在《自然通訊》上寫道，他們已經開發出一種新的方法來保護「令人驚訝地有效」的深度神經網絡免受「災難性遺忘」的影響。 ;「 在學習新課程後，網絡會忘記他們以前學過的東西。
  • 陳根:人工神經網絡成就AI小白鼠,試毒不再愁
    目前最為先進的人工智慧可以說就是人工神經網絡，人工神經網絡是仿生學的一個概念，是一類由多層神經元互聯組件構成的機器學習算法，而「神經元」最早就是來自大腦結構的啟發。儘管人工神經網絡中的神經元的工作方式肯定不同於實際人腦的工作方式，但越來越多的研究者認為，將二者放在一起研究不僅可以幫助我們理解神經科學，還有助於打造出更加智能的AI。
  • 大腦與AI,神經科學與人工神經網絡
    書讀百遍其義自見，一個詞有多重含義，但可以根據之前所說的內容推斷出那個詞對於那個詞的含義，大腦如何聯繫這些概念的。人工智慧（AI）能幫助我們理解大腦如何理解語言嗎？神經科學可以幫助我們理解為什麼AI和神經網絡在預測人類感知方面是有效的嗎？
  • 自動化所提出基於類腦脈衝神經網絡的音樂記憶與激活模型
    人類如此為音樂著迷，那麼人類的大腦是如何感受與存儲音樂的？計算機如何能像人類大腦一樣感知與記憶音樂呢？中國科學院自動化研究所類腦智能研究中心曾毅團隊充分借鑑了人類大腦在音樂信息處理方面的神經機制，構建了一個多尺度的多腦區協同的脈衝神經網絡SNN(Spiking Neural Network)模型，用於音樂感知與記憶。
  • 科學家創建由DNA構成的人工神經網絡,能夠模仿大腦形成記憶
    目前，科學家在實驗室裡研製一種完全由DNA製成的人工神經網絡，能夠模仿大腦工作形成自己的「記憶」。
  • 怎樣鍛鍊大腦記憶力防止健忘?試試這7個方法
    其實當人們有很多事情要做的時候，大腦偶爾健忘是很正常的。但我們能否通過一些鍛鍊來增強大腦的記憶力呢？不吃碳水化合物可能會損害你的記憶力，一項研究發現飲食中不含碳水化合物的人在大腦記憶相關任務上的表現要比含碳水化合物的人差。為什麼呢？因為你的腦細胞需要碳水化合物來保持最佳狀態，碳水化合物在你體內轉化為葡萄糖作為大腦的運轉能量。有必要選擇全穀物和其它複雜的碳水化合物因為它們消化得更慢，所以能提供更穩定的葡萄糖不至於引起血糖問題。
  • 年紀輕輕就容易健忘、走神、反應遲鈍?這是大腦發出求救信號!
    年紀輕輕就容易健忘、走神、反應遲鈍？這是大腦發出求救信號！大量酒精會殺死大腦神經細胞，長此以往，會導致記憶力減退，誘發健忘症。另外，心理因素對健忘症的形成也有不容忽視的影響。比如，抑鬱焦慮症等心理障礙，致人們的認知功能受損，常常表現有健忘，影響學習工作和社會功能，甚至引發不良事故。
  • 都有一個貝葉斯大腦?預測編碼理論可啟發 AI 構建和人類似的意識
    目前，在認知學領域一個有爭議的理論認為，感知、運動控制、記憶等大腦功能，都依賴於大腦對現有經驗和未來期望的比較，即預測編碼理論。而該理論啟發了 AI 領域，正在幫助他們建立出更智能的模型。一些神經科學家認同大腦工作的預測編碼理論，在這個理論中，「思維」實際上是一種「受控制的幻想」。該理論認為，大腦更重視對現實的預期，而不是感覺器官傳入的實際信息。
  • 使用AI和TPU人類首次重建果蠅大腦神經元,論文登上《細胞》雜誌
    機器之心報導機器之心編輯部通過 AI 算法和 TPU 晶片，人類首次成功重建了果蠅大腦神經元的 3D 模型。這項成果意味著人類對於腦科學的研究更進了一步。新研究的論文已經發表在《細胞》雜誌上。為了生成詳盡的大腦圖像，研究人員使用了多達 7062 個大腦切片，共計 2100 萬張圖片——其背後使用的算法和硬體可謂強大。谷歌 AI 負責人，計算機大神 Jeff Dean 點評了這項最新研究：TPU 帶你飛！這一連接組學研究有望加速人類對於果蠅——乃至所有生物學習、記憶和感知方面的研究。
  • 人工智慧神經網絡和生物大腦有什麼區別 神經網絡將如何發展
    關鍵是有機大腦的結構和先天能力，這種觀點在當今的AI社區中大多被駁回，而人工神經網絡主導了這一論點。神經科學冷泉港實驗室教授Anthony Zador在同行評審期刊《自然》上發表的一篇論文中指出，這是一個高度結構化的大腦，可以使動物成為非常高效的學習者。
  • AI的人工神經網絡
    人工神經網絡是模擬人和動物的神經網絡的某種結構和功能的模擬，所以要了解神經網絡的工作原理，所以我們首先要了解生物神經元。其結構如下圖所示：   人工神經網絡具有四個基本特徵： 　　 （1）非線性非線性關係是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處於激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關係。具有閾值的神經元構成的網絡具有更好的性能，可以提高容錯性和存儲容量。
  • 戴瓊海：深度學習遭遇瓶頸，全腦觀測啟發下一代AI算法
    ，只能從功能層面理解大腦，但這些成果也啟發了很多經典的人工智慧算法，例如卷積神經網絡啟發自貓腦視覺感受野研究，膠囊網絡啟發自腦皮層微柱結構研究。以前的做法是從神經科學裡獲得啟發。比如，在卷積神經網絡的發現過程中，科學家先是發現了簡單和複雜細胞，並發現視覺系統的卷積特性，然後人們提出借鑑簡單複雜細胞的新認知機，這是CNN的前身。1982年，David Marr出版了計算機視覺開山之作《視覺》，之後，卷積神經網絡被正式提出。
  • 清華、北大教授同臺激辯:腦科學是否真的能啟發AI?
    因此，無論是低等動物還是高等動物，無論神經元多少，都能夠做到通用智能。 據ML上的一篇文章，從線蟲上受到啟發，提出一種稱為NCP的神經環路法則，通過75000個參數，只採用19個神經形態的神經元，就可以完成自動駕駛的過程。所以並不是參數越多越好，神經網絡越深越好，通過很簡單的結構也可以實現很複雜的功能。規模很重要，但是並不是唯一的決定因素。
  • 年紀輕輕就容易健忘、走神、反應遲鈍?這是大腦發出求救信號!6招教...
    大量酒精會殺死大腦神經細胞，長此以往，會導致記憶力減退，誘發健忘症。另外，心理因素對健忘症的形成也有不容忽視的影響。比如，抑鬱焦慮症等心理障礙，致人們的認知功能受損，常常表現有健忘，影響學習工作和社會功能，甚至引發不良事故。
  • 人工神經網絡初學:是什麼以及為什麼?
    有人認為神經網絡的核心是微積分，但實際上這種計算系統源於生物學，是人類的大腦啟發了創造這些系統的科學家。　　參與設計原始網絡的科學家受到了大自然的啟發，人類的大腦給他們帶來了靈感。我們的大腦有數十億(至少)神經元，這些神經元與我們體內的每一個細胞相連接。這些神經元之間以動態的方式相互通信，從而使我們的身體正常運作。　　相比人類大腦，人工神經網絡運行環境簡單很多。與人腦數十億的神經元相比，人工神經網絡的一個系統只包含數千或數萬個連接，處理能力遠遠低於人腦。
  • 剖析DeepMind神經網絡記憶研究:模擬動物大腦實現連續學習
    McCloskey 和 Cohen（1989）首先注意到了這種能力的缺失——他們首先訓練一個神經網絡學會了給一個數字加 1，然後又訓練該神經網絡學會了給數字加 2，但之後該網絡就不會給數字加 1 了。他們將這個問題稱為「災難性遺忘（catastrophic forgetting）」，因為神經網絡往往是通過快速覆寫來學習新任務，而這樣就會失去執行之前的任務所必需的參數。
  • 科學學習,你了解大腦是「如何記憶」的嗎?
    大腦是非常神秘的人體器官，對大腦的研究一直是備受關注的，那麼大腦到底是怎樣工作的，我們了解這些科學，對於我們有效的學習，科學的學習，準確記憶，記憶輸出都至關重要。第一，大腦是如何存儲記憶的呢？大腦中，記憶系統的核心部位有三個：內嗅皮層、海馬體和新皮層。我們把大腦的記憶系統假想成一個具有自我思想的電腦。
  • 【新智元專訪】神經元本身也能編程,神經網絡學習能力遠超預期
    日前，瑞典隆德大學研究人員發表在 PNAS 的一項研究發現，神經元本身也具有編程或者說學習的能力，單個神經元中存儲信息的容量遠超預期。論文作者在接受新智元採訪時表示，這一發現或將為設計全新的人工神經網絡帶來啟發。
  • 神經網絡控制長期記憶
    圖片來源：stock image　　一個多機構研究團隊發現，在記憶鞏固過程中，至少有兩個不同的大腦網絡——興奮性網絡和抑制性網絡——產生了兩個不同的過程。興奮性神經元參與創建記憶痕跡，抑制性神經元屏蔽背景噪音，從而使得長期學習發生。
  • 海馬體啟發的記憶模型
    然而當下深度學習模型有關記憶的模型確是一大空缺， RNN模擬了神經網絡通過循環傳遞導致的信息緩存效應（類似人與人之間互相喊話來留存信息），而LSTM利用輸入門和遺忘門進一步加強了這個機制引入了更加可控的信息暫留機制。基於NTM的模型把過去的信息和常識存儲在類似硬碟的存儲器裡，網絡只需要學習讀和寫。