人工神經網絡為夢想新理論鋪平道路

2020-12-06 騰訊網

體育界充滿了迷信。麥可·喬丹在他的芝加哥公牛隊球衣下面穿的是北卡羅萊納大學的短褲，這是出了名的;塞雷娜·威廉士在整個比賽中都穿著同樣的襪子;當戈蘭·伊萬尼塞維奇贏得一場網球比賽時，他會在整個比賽中重複當天的活動。

心理學家說，之所以會出現這種行為，是因為人類的大腦有時會把很少或根本沒有因果關係的事件聯繫起來。計算機科學家有不同的思考方式。對於他們來說，這是一個「過度擬合」的例子——使用不相關的細節來構建模型。可能有許多因素會導致一個特定的網球擊球、籃球投擲或本壘打的成功，但襪子或內褲的顏色可能不是其中之一。

同樣的事情也發生在人工神經網絡上。網絡學習相關的細節，但也不相關。超擬合是機器學習專家們的苦惱，他們設計了各種各樣的技術來解決這個問題。

所有這些都迴避了一個問題:人類大腦是如何處理過擬合的。我們的日常經驗可以大量重複，那麼大腦是如何從這些單一的經驗總結到其他情況的呢?

今天，我們得到了一個答案，這要感謝麻薩諸塞州塔夫斯大學的神經科學家Erik Hoel的工作。Hoel的答案是，人類的大腦通過做夢來防止過度匹配。他說，做夢就是為了解決這個問題而進化的，而這個問題在所有的神經網絡中都很常見。如果他的理論是正確的，它就回答了神經科學中一個尚未解決的大問題:我們究竟為什麼會做夢。

首先,一些背景。心理學家、神經科學家和其他人一直在思考遠古時期的夢的起源和作用。弗洛伊德認為它們是一種與禁忌有關的表達挫折的方式——這一觀點長期以來一直被質疑。

還有人認為，夢是一種情緒調節器，可以讓我們控制和解決情緒衝突。然而，批評者指出，大多數夢缺乏強烈的情感內容，情感中性的夢很常見。

還有人說，夢是大腦修復記憶或選擇性忘記不想要或不需要的記憶過程的一部分。這些理論也遇到了批評，即大多數夢缺乏現實的細節，有一種奇怪的幻覺的質量，並且經常包含以前從未見過的片段。Hoel說:「大多數的夢根本不涉及特定的記憶，這使得整合新記憶成為做夢的一個可疑目的。

機器學習的線索

他的新觀點是，夢的目的是幫助大腦基於特定的經驗做出概括。他們的做法與防止人工神經網絡過度擬合的機器學習專家類似。

最常見的解決過度擬合的方法是在學習過程中添加一些噪聲，使神經網絡更難專注於無關的細節。在實際操作中，研究人員會給圖像添加噪聲，或向計算機提供損壞的數據，甚至會刪除神經網絡中的隨機節點，這一過程被稱為dropout。

從人類的角度來說，這就相當於迫使麥可·喬丹(Michael Jordan)穿不同組合的短褲，或讓小威廉士(Serena Williams)換襪子，或讓戈蘭·伊萬尼塞維奇(Goran Ivanisevic)在比賽日做隨機的動作。這樣他們就不太可能把注意力集中在一個不相關的細節上。

夢對大腦也有同樣的作用，Hoel說:「目的是提供『分布失調』的模擬，以防止過度擬合和提高泛化。」

他稱這種觀點為「過度適應大腦假說」，並指出有大量證據支持這一觀點。例如，激發夢境的最好方法之一就是大量地玩簡單重複的遊戲，比如俄羅斯方塊。這就造成了大腦過度適應任務的條件。

這就是為什麼這種活動會引發夢境。這些夢並不是記憶中的俄羅斯方塊遊戲的回放，而是往往缺乏具有幻覺性質的細節。正是這種「噪音」幫助大腦從遊戲中歸納。這也是為什麼人們可以在一夜好眠後提高自己的表現。

Hoel用他的新理論做了許多可驗證的預測。他說:「這可能是對人類過度擬合的直接測量。」例如，一種方法可能是訓練人們完成過度重複的任務，看看他們是否能在睡覺和不睡覺的情況下總結出這種行為。

夢的替代品

這個理論也可以用來更好地理解睡眠不足的人可能會犯的錯誤類型，然後減輕這些錯誤。他說:「如果睡眠不足的大腦確實超負荷運轉，那麼他們就很容易以固有的方式犯錯誤。」

Hoel說，該理論為睡眠不足提供了一種治療方法。他說:「也有替代夢境的可能性，其中人造的類似夢境的刺激可能有助於提高泛化，從而提高睡眠剝奪者的表現。」

夢想替代品的本質本身就是迷人的。Hoel說，一般來說，小說——書籍、戲劇、電影等——可能起到與夢類似的作用。他指出:「畢竟，這些都是明顯錯誤的信息。」

人類為什麼會創作並欣賞小說一直是個謎。但Hoel給出了一個答案:「大腦過度發育假說表明，小說，或許還有一般的藝術作品，實際上可能有一種潛在的認知效用，以提高泛化和防止過度擬合的形式存在，因為它們起到了人造夢的作用。」

這是有趣的工作!到目前為止，大多數認知理論認為夢是一種偶然現象，是睡眠的一種有趣的副產品，本身沒有什麼重要的功能。

Hoel的想法顛覆了這一切，他提供了夢的生物學功能，因此第一次為夢的進化提供了理論依據。

相關焦點

  • 人工神經網絡的定義
    人工神經網絡的定義 　　人工神經網絡（ Artificial Neural Networks， 簡寫為ANNs）也簡稱為神經網絡或稱作連接模型，是對人腦或自然神經網絡若干基本特性的抽象和模擬。
  • 人工神經網絡及其應用
    該模型為開創神經學科理論研究的新時代。在1949年，心理學家Donala O.Hebb出版一本為《行為構成》的書，在書中他建立了現在被人們稱為Hebb算法的連接訓練算法。1958年計算機學家Frank Rosenblatt 發表一篇很有名的文章，在文章中他提出了具有三層網絡結構的神經網絡結構，該文章中提出的算法與後來的反向傳播算法和自組織算法類似。
  • 科技:人工神經網絡的進步
    這些重大新故事中的一些與人工神經網絡有關，人工智慧研究中的一個相對較新的現象正在推動從娛樂到醫學等許多領域的各種進步。人工神經網絡依賴於這樣的思想：技術可以使用對應於個體人類神經元和神經元組的小單元來模擬人類大腦的生物學工作，以基於輸入產生輸出。
  • 關於人工神經網絡的哲學思考
    ，DEDS理論及其在製造與通信系統中的應用；南開大學 自動化系，天津 300071 塗菶生(1937-)，男，江西省南昌市人，主要研究方向為線性系統理論、離散事件動態系統、計算機集成製造系統、製造系統理論及優化，天津市授銜自動控制專家，教授，博士生導師。
  • 人工神經網絡的五大主要應用場景
    人工神經網絡是一種嘗試，模擬組成人腦的神經元網絡，這樣計算機就能像人一樣學習事物並做出決策。人工神經網絡是通過對普通計算機進行編程而產生的，使它們的行為類似於人類的相互連接的腦細胞。人工神經網絡是受人腦啟發的計算模型。人工神經網絡最近的許多進展都是在人工智慧領域取得的，包括語音識別，圖像識別，以及基於人工神經網絡的機器人。
  • 新加坡科學家打造出萬億赫茲無線晶片，為邁向6G鋪平道路
    新加坡南洋理工大學和日本大阪大學科學家運用稱為光子拓撲絕緣體（photonic topological insulators）的概念，打造了一種能傳輸萬億赫茲波的新晶片，為實現超過5G標準的數據傳輸速度鋪平道路。
  • AI的人工神經網絡
    人工神經網絡是模擬人和動物的神經網絡的某種結構和功能的模擬，所以要了解神經網絡的工作原理，所以我們首先要了解生物神經元。其結構如下圖所示：   而人工神經網絡的基本原理也就是對生物神經元進行儘可能的模擬，當然，以目前的理論水平，製造水平，和應用水平，還與人腦神經網絡的有著很大的差別，它只是對人腦神經網絡有選擇的，單一的，簡化的構造和性能模擬，從而形成了不同功能的，多種類型的，不同層次的神經網絡模型。
  • 人工神經網絡發展歷程及特點
    人工神經網絡ANN簡稱為神經網絡或類神經網絡。深度學習實際上是深度神經網絡DNN，即深度學習從人工神經網絡ANN模型發展起來的，因此有必要對人工神經網絡ANN作進一步探討。1984年，他又提出了連續時間Hopfield神經網絡模型，開創了神經網絡用於聯想記憶和優化計算的新途徑。這項開拓性的研究工作有力地推動了神經網絡的研究。 3） 1985年，有學者提出了波耳茲曼模型，在學習中採用統計熱力學模擬退火技術，保證整個系統趨於全局穩定點。 4） 1986年進行認知微觀結構地研究，提出了並行分布處理的理論。
  • 什麼是人工神經網絡(ANN)?
    人工神經網絡如何運作人工神經網絡的核心成分是人工神經元。每個神經元接收來自其他幾個神經元的輸入，將它們乘以分配的權重，將它們相加，然後將總和傳遞給一個或多個神經元。一些人工神經元可能在將輸出傳遞給下一個變量之前將激活函數應用於輸出。
  • 對人工神經網絡「開刀」,利用神經科學消融法檢測人工神經網絡
    在 Mayes Meisen 和他同事的研究中，研究人員希望以破壞神經網絡的特定區域的方法，觀察該區域如何影響性能。最終，通過這些觀測結果對人工神經網絡和生物神經網絡的組織形式進行比較。「在人工神經網絡上應用消融的方法十分簡單的，」Meyes 和 Meisen 解釋道。
  • 新加坡科學家打造出兆赫茲無線晶片，為邁向6G 鋪平道路
    新加坡南洋理工大學和日本大阪大學科學家運用稱為光子拓撲絕緣體（photonic topological insulators）的概念，打造了一種能傳輸兆赫茲波的新晶片，為實現超過5G 標準的數據傳輸速度鋪平道路。
  • 人工神經網絡(Artificial Neural Network)算法簡介
    人工神經網絡，簡稱神經網絡，是一種模仿生物神經網絡的結構和功能的數學模型或者計算模型。其實是一種與貝葉斯網絡很像的一種算法。之前看過一些內容始終雲裡霧裡，這次決定寫一篇博客。
  • 初識人工神經網絡
    這也就是神經網絡的魅力所在。人工神經網絡（artificial neural networks) 是一種模仿生物神經網絡行為特徵，進行信息處理的算法數學模型。在人工神經網絡模型中使用單元節點模擬神經元，通過調整神經網絡內部大量節點（神經元）之間相互連接的權重來達到處理信息的目的。
  • 大腦與AI,神經科學與人工神經網絡
    神經科學可以幫助我們理解為什麼AI和神經網絡在預測人類感知方面是有效的嗎？來自德克薩斯大學奧斯汀分校（UT Austin）的Alexander Huth和Shailee Jain的研究表明兩者都有可能。
  • 推薦| 九本不容錯過的深度學習和神經網絡書籍
    深度學習基礎：設計下一代機器智能的算法（Fundamentals of Deep Learning: Designing Next-Generation Machine Intelligence Algorithms）價格：33 美元隨著神經網絡在 21 世紀的振興，深度學習已經成為一個極其活躍的研究領域，它正在為現代機器學習鋪平道路。
  • 無處不在的人工神經網絡:機器人擁有意識的關鍵
    人工神經網絡，常常簡稱為神經網絡，是以計算機網絡系統模擬生物神經系統的智能計算系統，是對人腦或自然神經網絡的若干基本特性的抽象和模擬。簡單地講，人工神經網絡就是基於模仿大腦神經網絡結構和功能而建立的一種信息處理系統。人工神經網絡依靠系統的複雜程度，通過調整內部大量節點之間相互連接的關係，從而達到處理信息的目的，其中，這些節點就相當於生物大腦中的「神經元」。
  • 深度|人工神經網絡深入分析
    文章從神經網絡談到了人工神經網絡，並對此進行詳細的介紹。最近「神經網絡」非常火，特別是AlphaGo與韓國選手李世石的比賽落幕後，各種關於神經網絡的文章滿天飛，但可能對於非專業領域出身的人來說接觸這些文章就會雲裡霧裡了。究其原因主要是缺少適合大部分人理解的神經網絡的科普文章，其實吳軍老師的《數學之美》在科普神經網絡這方面做的就比較通俗易懂，感興趣的朋友可以去讀一下吳老師的書。
  • 人工神經網絡與腦控計算機是什麼?
    人工神經網絡就是對於人類大腦的神經網絡的一個複製，用大量的電子儀器來複製人類大腦的神經元運算，隨著電子儀器的微型化與科技的進步，未來電腦跟大腦的運算速度以及方式會越來越接近，並且帶領人類到達一個未知的領域，這將是一片從未開拓的淨土。
  • 人工神經網絡的特點有哪些
    人工神經網絡的特點和優越性，主要表現在三個方面： 第一，具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網絡，網絡就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。
  • 物理波動力學計算在模擬循環神經網絡的應用
    （文章來源：量子認知） 對人腦神經元網絡系統進行抽象建立模型構成的人工神經網絡，簡稱神經網絡或類神經網絡。循環神經網絡（Recurrent Neural Network, 簡稱RNN）是一類以序列數據為輸入，在序列的演進方向進行遞歸且所有節點，即循環單元，按鏈式連接的遞歸神經網絡。模擬循環神經網絡，就是通過模擬電子技術，而不是數字電子技術，實現的循環神經網絡。