大腦的記憶能力會激發AI專家減少神經網絡的「健忘」能力

2020-11-24 騰訊網

麻薩諸塞大學阿默斯特分校和貝勒醫學院的人工智慧（AI）專家報告說，他們已經從已知的人腦記憶機制中汲取了靈感，從而成功解決了所謂的「增加AI功能的長期存在的主要障礙」作為「重播」。

貝勒的第一作者和博士後研究員吉多·范德文和首席研究員安德裡亞斯·託裡亞斯與麻薩諸塞大學阿默斯特分校的哈瓦·西格曼一起在《自然通訊》上寫道，他們已經開發出一種新的方法來保護「令人驚訝地有效」的深度神經網絡免受「災難性遺忘」的影響。 ;「 在學習新課程後，網絡會忘記他們以前學過的東西。

西格曼及其同事指出，深度神經網絡是最近AI發展的主要推動力，但這種遺忘阻礙了進步。

他們寫道：「一種解決方案是存儲先前遇到的示例，並在學習新知識時重新訪問它們。儘管這種「重播」或「排練」解決了災難性的遺忘，」他們補充說，「對所有先前學習的任務進行持續的重新培訓是非常低效率的，必須存儲的數據量很快變得難以管理。」

與AI神經網絡不同，人類可以在早期課程的基礎上不斷累積信息。他們解釋說，被認為可以保護記憶免受遺忘的大腦重要機制是重放代表這些記憶的神經元活動模式。

西格爾曼說，該團隊的主要見解在於「認識到大腦中的重放不會存儲數據」。相反，「大腦可以在更高，更抽象的層次上生成記憶的表示，而無需生成詳細的記憶。」 受此啟發，她和同事們創造了類似於大腦的人工回放，其中沒有存儲任何數據。相反，就像大腦一樣，網絡會生成以前所見事物的高級表示。

事實證明，「抽象的生成性大腦重放」非常有效，並且該團隊表明重放僅幾個生成的表示足以記住舊記憶，同時學習新記憶。生成性重放不僅可以防止災難性的遺忘，而且還為系統學習提供了一種新的，更簡化的路徑，它還使系統可以將學習從一種情況推廣到另一種情況。

例如，「如果我們具有生成性重放功能的網絡首先學會將貓與狗分開，然後將熊與狐狸分開，那麼它也會在沒有經過專門培訓的情況下告訴貓與狐狸。而且，值得注意的是，系統學到的越多，學習新任務越好。」範德文說。

他和同事寫道：「我們提出了一種全新的，受大腦啟發的重放方式，其中重放由網絡自身的上下文調製反饋連接生成的內部或隱藏表示。我們的方法實現了最先進的性能在不存儲數據的情況下挑戰不斷學習基準的挑戰，它為大腦中的抽象水平重放提供了一種新穎的模型。」

範德文說：「我們的方法對重播可能有助於大腦記憶鞏固的方式做出了一些有趣的預測。我們已經在進行實驗，以測試其中的一些預測。」

相關焦點

  • 大腦的記憶能力啟發了AI專家，使神經網絡不再那麼「健忘」
    Baylor的第一作者和博士後研究員Gido van de Ven和首席研究員Andreas Tolias與UMass Amherst的Hava Siegelmann一起在Nature Communications中寫道，他們已經開發出一種新方法來保護「令人驚訝地有效」的深度神經網絡免受「災難性遺忘」 ;「 在學習新課程後，網絡會忘記他們以前學過的東西。
  • 如果大腦會說話：讓「分子音量旋鈕」調節你的學習記憶能力
    突觸是神經元上的微小接觸點，可使大腦中的神經元以不同的頻率進行交流。大腦將來自神經元的電輸入轉換成化學神經遞質，神經遞質則會穿過這些突觸空間。釋放的神經遞質的數量將改變大腦迴路中激活的神經元的數量和模式。
  • 大腦的認知地圖:是什麼左右了我們的記憶和導航能力?
    人工智慧公司DeepMind的神經科學家金·斯塔肯菲爾德說：「我們的語言充滿了用以推理和記憶的空間隱喻。」過去十幾年的研究表明，那些隱喻——至少在記憶與導航兩種能力方面——可能在大腦中具有物質基礎。而海馬體這一海馬形狀的大腦區域，對這兩個功能來說都是必不可少的。有證據開始表明，構成兩者的基礎可能是相同的編碼方案。
  • 如果大腦會說話:讓「分子音量旋鈕」調節你的學習記憶能力
    突觸是神經元上的微小接觸點，可使大腦中的神經元以不同的頻率進行交流。大腦將來自神經元的電輸入轉換成化學神經遞質，神經遞質則會穿過這些突觸空間。釋放的神經遞質的數量將改變大腦迴路中激活的神經元的數量和模式。 而突觸連接強度的重塑，是學習如何發生以及記憶如何形成的關鍵。
  • 年紀輕輕就容易健忘、走神、反應遲鈍?這是大腦發出求救信號!
    如果長期熬夜，大腦沒有得到充分的休息，注意力難以集中。自然會出現前說後忘、拿東西時前放後忘的健忘現象。生活、職場壓力大也是導致健忘症的一大因素。壓力過大或者過久，超過人們的精力所承受的範圍會讓人不快樂、抑鬱、焦慮、痛苦、不滿、悲觀。而這些症狀也是輕則導致健忘症，重則引起精神、神經類疾病。酗酒、抽菸是另一大因素。
  • 科學家創建由DNA構成的人工神經網絡,能夠模仿大腦形成記憶
    目前，科學家在實驗室裡研製一種完全由DNA製成的人工神經網絡，能夠模仿大腦工作形成自己的「記憶」。
  • 大腦與AI,神經科學與人工神經網絡
    書讀百遍其義自見，一個詞有多重含義，但可以根據之前所說的內容推斷出那個詞對於那個詞的含義，大腦如何聯繫這些概念的。人工智慧（AI）能幫助我們理解大腦如何理解語言嗎？神經科學可以幫助我們理解為什麼AI和神經網絡在預測人類感知方面是有效的嗎？
  • 人工智慧神經網絡和生物大腦有什麼區別 神經網絡將如何發展
    這個問題困擾著人工智慧科學家和研究人員，在過去的幾十年中，他們一直在嘗試複製人腦的思維和解決問題的能力。創建思維機器的夢想激發了AI領域的許多創新，並且最近推動了深度學習的興起，深度學習AI算法大致模擬了大腦的學習功能。
  • 人參具有促進大腦發育、提高學習、增強記憶能力的作用!
    人參除了有延緩衰老作用外，對內分泌、神經、新陳代謝等生理功能也有較好的調節作用。此外，人參它還具有抗病毒、減肥、抗休克等多方面的作用哦。人參的功效與作用及食用方法都比較多，小編這裡提醒大家，人參雖然是一種價值較高的滋補品，但並不是人人都適用的。患有高血壓、糖尿病、冠心病、腦血管硬化的患者應該慎服人參。人參皂苷Rb1和Rg1能調節大腦平衡，促進大腦對能量物質的轉換和利用。
  • 【新智元專訪】神經元本身也能編程,神經網絡學習能力遠超預期
    日前，瑞典隆德大學研究人員發表在 PNAS 的一項研究發現，神經元本身也具有編程或者說學習的能力，單個神經元中存儲信息的容量遠超預期。論文作者在接受新智元採訪時表示，這一發現或將為設計全新的人工神經網絡帶來啟發。
  • 問答| 為什麼大腦沒有完全儲存記憶的能力?
    …傳統的理論認為：人類的記憶是保存在大腦皮層的。如果大腦沒有儲存記憶的能力，那麼題主認為人類的記憶應該保存在那裡呢？19世紀末的科學家提出了袓母細胞理論，該理論認為人類的大腦活動由神經元放電完成，意識行為、思維以及記憶，都由神經元構成。
  • 怎樣鍛鍊大腦記憶力防止健忘?試試這7個方法
    其實當人們有很多事情要做的時候，大腦偶爾健忘是很正常的。但我們能否通過一些鍛鍊來增強大腦的記憶力呢？運動增加了流向大腦的血液流量，為大腦帶來了急需的氧氣和葡萄糖作為思考的燃料。事實上如果你在高強度鍛鍊後試著背單詞，那麼你學習單詞的速度可以提高20%。參加舞蹈或跆拳道課程或者那種任何需要你記住常規動作的運動，它們都可以提高你的瞬間記憶能力。
  • 神奇「耳機」能刺激大腦神經，改善記憶力，外語學習能力提升13%
    的確，多數成年人都會有這種感覺，學習新技能的能力遠不如兒童，而這在語言學習上體現的尤為明顯。先前的研究表明，幼兒學習一種新語言要比父母甚至年長的兄弟姐妹容易得多。不過最近，一項新的研究提供了減少這一進化障礙的解決方案。
  • 神奇「耳機」能刺激大腦神經,改善記憶力,外語學習能力提升13%
    的確，多數成年人都會有這種感覺，學習新技能的能力遠不如兒童，而這在語言學習上體現的尤為明顯。先前的研究表明，幼兒學習一種新語言要比父母甚至年長的兄弟姐妹容易得多。不過最近，一項新的研究提供了減少這一進化障礙的解決方案。通過對耳朵進行細微、難以察覺的大腦刺激，科學家發現，與沒有刺激的成年人相比，成年人識別外語聲調的能力有所提高。即使終止這種刺激，這種記憶效應也持續存在。
  • 年紀輕輕就容易健忘、走神、反應遲鈍?這是大腦發出求救信號!6招教...
    壓力過大或者過久，超過人們的精力所承受的範圍會讓人不快樂、抑鬱、焦慮、痛苦、不滿、悲觀。而這些症狀也是輕則導致健忘症，重則引起精神、神經類疾病。酗酒、抽菸是另一大因素。大量酒精會殺死大腦神經細胞，長此以往，會導致記憶力減退，誘發健忘症。另外，心理因素對健忘症的形成也有不容忽視的影響。
  • 具有自學習能力的全光尖峰神經突觸網絡
    然而，與真實的神經組織不同的是，傳統的計算架構將存儲和處理的核心計算功能物理地分離開來，使得快速、高效、低能耗的計算難以實現。為了克服這些限制，一個有吸引力的替代方案是設計模擬神經元和突觸的硬體。當這些硬體連接到網絡或神經形態系統時，它們處理信息的方式更類似於大腦。在這裡，我們提出了一個全光學版本的神經突觸系統，能夠監督和非監督學習。
  • 「記憶麵包」真的存在?科學家發現AI可激發大腦潛能
    測量大腦的最佳方法當然是直接深入顱內，但大眾和相關機構審查委員會，不會允許有人打著科學的旗號開啟別人的頭骨。因此，Kahana團隊和25個癲癇患者合作，在他們每個人的大腦中植入了100-200個電極，以監測和癲癇相關的大腦放電。通過這些電極，Kahana團隊還記錄了跟記憶任務相關的大腦活動。
  • AI的人工神經網絡
    人工神經網絡是模擬人和動物的神經網絡的某種結構和功能的模擬，所以要了解神經網絡的工作原理，所以我們首先要了解生物神經元。其結構如下圖所示：   人工神經網絡具有四個基本特徵： 　　 （1）非線性非線性關係是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處於激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關係。具有閾值的神經元構成的網絡具有更好的性能，可以提高容錯性和存儲容量。
  • 章魚愛記憶:激發孩子大腦潛能的方法
    眾所周知，大腦的潛能是我們無法想像的，大腦是可以通過各種方式激發大腦潛能的，但是，你知道怎麼樣才能真正有效的激發到我們的大腦潛能嗎?孩子應該從小就鍛鍊激發大腦潛能。下面，【章魚愛記憶】為你搜集激發大腦潛能的各種方法，希望對您有所幫助。
  • 人腦與電腦的PK——記憶與聯想能力的差別
    人腦本質上是一種信息加工器官，而「電腦」則是人類為了模擬自己大腦的某些功能而設計出來的一種信息加工機器。通過比較我們發現，人腦與「電腦」的信息處理能力、信息系統結構和信息處理方法都有很大差別。人腦與電腦的PK人腦與電腦在記憶與聯想能力方面存在很大的差異。