研究不同神經元在人工神經網絡中的作用

2020-12-05 AI工程學習

在過去十年左右的時間裡,世界各地的研究人員一直在開發越來越先進的人工神經網絡(ANNs),這種計算方法旨在複製人類大腦的生物機制和功能。雖然其中一些網絡在各種任務中取得了顯著的成果,但預測背後的決策過程並不總是很清楚。

德國數字轉型技術與管理研究所和機械工程信息管理研究所的研究人員最近進行了一項研究,旨在更好地了解神經網絡決策過程的機制。他們在arXiv上發表的一篇論文中概述了他們的發現,闡明了單個神經元和不同神經元群在這些網絡中的作用。

「我們最近的研究是基於我們之前的工作,我們在其中描述了人工神經網絡中單個神經元對其學習任務的重要性,」開展這項研究的研究人員之一Richard Meyes告訴TechXplore。「在我們的新研究中,我們將研究範圍擴大到更大的神經元群,目的是識別包含的單元共同作用於解決網絡訓練任務的功能神經元群。」

為了研究不同的神經元在神經系統中的作用,Meyes和他的同事從神經科學研究中常用的技術中獲得了靈感。他們的最終目標是通過觀察網絡在面對不同刺激時的表現來描述網絡的表現,同時激活或停用一些神經元以更好地理解它們在處理這些刺激時的作用。

Meyes解釋說:「簡單地說,我們詢問了大腦網絡是否會對不同的圖像表現出特定的活動模式,並研究了大腦網絡中哪些神經元參與了這些活動模式。」「我們還使用網絡消融來去除網絡中的單個神經元和神經元群,以確定這些神經元在創造這些活動模式中扮演的角色。」

他們基於神經科學的方法讓Meyes和他的同事收集了一些有趣的觀察結果。最值得注意的是,研究人員發現了具有不同功能的神經元群。他們還發現,當對特定類型的刺激或失活的刺激(例如,神經元)做出反應時,一些神經元群會一起活動。某些神經元對人工神經網絡的整體表現有類似的影響。

「我們最有趣的發現是,在網絡中有不同的神經元子集,它們對處理過的圖像數據的不同部分很重要,」Meyes說。「這表明,從訓練數據中獲得的知識的各個方面,都是局部地反映在網絡的特定部分中的。」

Meyes和他的同事最近進行的研究提供了有價值的見解,可能對神經系統的發展和未來的神經科學研究都有意義。除了揭示了神經網絡中不同神經元的作用外,他們的發現還表明,存儲在網絡中的特定知識可以被分離並提取到一個新的網絡中,而無需對新網絡進行相同知識的訓練。

Meyes說:「在我們未來的研究中,我們計劃研究是否有可能在一個網絡中分離所學知識的特定部分,並將其轉移到其他網絡中。」「這將促進一種以模塊化方式構建神經網絡的新方法,將包含特定知識的不同網絡的小電路組合成一個更大的網絡。」

相關焦點

  • MIT重磅研究:基於人工神經網絡,探索抑制神經元的生物學意義
    在近幾年,人工神經網絡——一種參照大腦運作模式而建成的計算模型——已經成為了最為炙手可熱的人工智慧系統,並且應用於從語音到圖像的各個領域。雷鋒網消息,MIT CSAIL 於今日發布了一個重磅研究成果:他們已經開發出一個大腦神經迴路的計算模型,它揭示了抑制神經元的生物意義。
  • 人工神經網絡太簡陋了,《Science》新作揭露,神經元樹突也隱含計算...
    目前對於計算機科學家來講,人工神經網絡構建,往往基於這樣一個概念:神經元是一個簡單的、非智能的開關,神經網絡的信息處理來源於數萬(數萬億)個神經元之間的連接。然後神經科學家對於人腦的研究發現卻並不是如此。在神經科學的諸多研究中已經發現,人腦在信息計算上並不只有神經元連接在起作用,單個的神經元也同樣承擔著比以前人們想像中要重要得多的計算任務。
  • 人工神經網絡或升級 因為人類發現神經元更複雜
    人工神經網絡是人們模仿神經元設計出來的,其模仿單個神經元,將這些神經元串起來,從而可以處理較為複雜的數據。人工神經網絡如此設計,其實是將單個神經元視為一個簡單的開關,僅支持「是」與「否」的判斷。但研究發現,神經元要更加複雜。
  • 盤點人臉識別中的黑科技——人工神經網絡
    他們發現大腦中編碼人臉的方式和成功地執行人工智慧系統(稱為深度神經網絡)的驚人相似性。當我們看一張面孔時,視覺皮層中的神經元群被激活並發射它們的信號。事實上,某些神經元對面部有選擇性的反應,而不是對其他物體的反應。但是單個神經元的激活是如何共同產生面部感知和識別的呢?
  • 人工神經網絡及其應用
    其獲得了學術界和工程技術的關注,掀起了各個學科對神經網絡的研究。結束於1986年,D.E.Rumelhart和J.L.McClelland領導的研究小組發表的《並行分布式處理》一書,他們提出了PDP網絡思想,為神經網絡的新時期到來起到了推動作用。
  • 人工神經網絡研究的發展歷程及重要特性
    人工神經網絡研究的先鋒麥卡洛克和皮茨曾於1943年提出一種叫做「似腦機器(mindlike machine)」的思想,這種機器可由基於生物神經元特性的互連模型來製造,這就是神經學網絡的概念。他們構造了一個表示大腦基本組成部分的神經元模型,對邏輯作業系統表現出通用性。
  • 人工神經網絡發展歷程及特點
    人工神經網絡ANN從信息處理角度對人腦神經元網絡進行抽象,建立某種簡單模型,按不同的連接方式組成不同的網絡。人工神經網絡ANN是一種運算模型,由大量的節點(或稱神經元)之間相互聯接構成。每個節點(神經元)代表一種特定的輸出函數,稱為激勵函數(activation function)。
  • 什麼是人工神經網絡(ANN)?
    大腦的每個功能都涉及在大量此類神經元中運行的電流和化學反應。人工神經網絡如何運作人工神經網絡的核心成分是人工神經元。每個神經元接收來自其他幾個神經元的輸入,將它們乘以分配的權重,將它們相加,然後將總和傳遞給一個或多個神經元。
  • AI的人工神經網絡
    人工神經網絡是模擬人和動物的神經網絡的某種結構和功能的模擬,所以要了解神經網絡的工作原理,所以我們首先要了解生物神經元。其結構如下圖所示:   而人工神經網絡的基本原理也就是對生物神經元進行儘可能的模擬,當然,以目前的理論水平,製造水平,和應用水平,還與人腦神經網絡的有著很大的差別,它只是對人腦神經網絡有選擇的,單一的,簡化的構造和性能模擬,從而形成了不同功能的,多種類型的,不同層次的神經網絡模型。
  • 「研究」人工神經網絡的常用連接模型
    根據神經元之間的相互結合關係和作用方式,人工神經網絡可有如下幾種典型的結合形式:(1)前向網絡:網絡的結構如圖(a),(b)所示。網絡中的神經元是分層排列的,每個神經元只與前一層的神經元相連接,隱含層的層數可以是一層或多層。
  • 初識人工神經網絡
    大腦包含了千億級別的神經元(neurons ),神經元細胞互相連接協同工作從而使大腦具有不可思議的神奇能力。神經元包含細胞體和神經元突起兩部分,細胞體由細胞核、細胞膜和細胞質構成,具有整合輸入信息並傳出信息的作用。而神經元突起又分為樹突(dendrite)和軸突(axon)兩種,樹突具有接受刺激並將衝動傳入細胞體的功能,軸突的主要是將神經衝動由胞體傳至其他神經元或效應細胞。
  • 深度|人工神經網絡深入分析
    本文與吳老師的講解方式不同,筆者希望能從神經網絡的起源揭開神經網絡的面紗,從而幫助更多的對神經網絡感興趣但卻沒有相關理論基礎的朋友們。說起人工神經網絡的起源肯定要追溯到生物的神經網絡。McCulloch-Pitts模型的6個特點中前面4點和之前總結的生物神經元一致,具體對應請見下圖:1.每個神經元都是一個多輸入單輸出的信息處理單元;2.神經元輸入分興奮性輸入和抑制性輸入兩種類型;3.神經元具有空間整合特性和閾值特性;4.神經元輸入與輸出間有固定的時滯,主要取決於突觸延擱;5.忽略時間整合作用和不應期
  • 怎樣辨別生物和人工神經網絡中的遞歸?
    遞歸是神經網絡中的一個重要術語,在機器學習和神經科學領域有著不同的含義。然而,隨著用於實際應用的人工神經網絡(ANNs)越來越複雜,且在某些方面更像生物神經網絡(BNNs),這種差異正在逐漸縮小(但總體上仍存在巨大差異)。
  • 【新智元專訪】神經元本身也能編程,神經網絡學習能力遠超預期
    日前,瑞典隆德大學研究人員發表在 PNAS 的一項研究發現,神經元本身也具有編程或者說學習的能力,單個神經元中存儲信息的容量遠超預期。論文作者在接受新智元採訪時表示,這一發現或將為設計全新的人工神經網絡帶來啟發。
  • 人工神經網絡初學:是什麼以及為什麼?
    參與設計原始網絡的科學家受到了大自然的啟發,人類的大腦給他們帶來了靈感。我們的大腦有數十億(至少)神經元,這些神經元與我們體內的每一個細胞相連接。這些神經元之間以動態的方式相互通信,從而使我們的身體正常運作。  相比人類大腦,人工神經網絡運行環境簡單很多。與人腦數十億的神經元相比,人工神經網絡的一個系統只包含數千或數萬個連接,處理能力遠遠低於人腦。
  • 科技:人工神經網絡的進步
    這些重大新故事中的一些與人工神經網絡有關,人工智慧研究中的一個相對較新的現象正在推動從娛樂到醫學等許多領域的各種進步。人工神經網絡依賴於這樣的思想:技術可以使用對應於個體人類神經元和神經元組的小單元來模擬人類大腦的生物學工作,以基於輸入產生輸出。
  • 人工神經網絡的五大主要應用場景
    人工神經網絡是一種嘗試,模擬組成人腦的神經元網絡,這樣計算機就能像人一樣學習事物並做出決策。人工神經網絡是通過對普通計算機進行編程而產生的,使它們的行為類似於人類的相互連接的腦細胞。人工神經網絡是受人腦啟發的計算模型。人工神經網絡最近的許多進展都是在人工智慧領域取得的,包括語音識別,圖像識別,以及基於人工神經網絡的機器人。
  • 科學家使用多巴胺無縫連接人工神經元和生物神經元
    因為這些被稱為 「神經遞質」的化學物質是生物神經元在大腦中功能連接的方式,這項研究戲劇性地證明了將人工零件與生物腦細胞連接到功能電路中是可能的。該研究小組不是第一個研究混合神經元電路的團隊,在此之前,另一個團隊僅用電子協議將兩個矽基人工神經元和一個生物神經元連接到一個電路中。儘管這是一個強大的混合計算演示,但它的研究僅依賴大腦一半的計算能力:電子計算。
  • 關於人工神經網絡的哲學思考
    南開大學 自動化系,天津 300071  原發信息:  (京)2000年第02期 第25-28,53頁  內容提要:本文在簡單介紹人工神經網絡的研究成果的基礎上,探討了人工神經網絡的自組織功能,並運用馬克思主義的基本原理和方法,從普遍聯繫、整體與部分的關係及結構和功能的關係三方面論述了人工神經網絡的哲學意義
  • 無處不在的人工神經網絡:機器人擁有意識的關鍵
    人工神經網絡,常常簡稱為神經網絡,是以計算機網絡系統模擬生物神經系統的智能計算系統,是對人腦或自然神經網絡的若干基本特性的抽象和模擬。簡單地講,人工神經網絡就是基於模仿大腦神經網絡結構和功能而建立的一種信息處理系統。人工神經網絡依靠系統的複雜程度,通過調整內部大量節點之間相互連接的關係,從而達到處理信息的目的,其中,這些節點就相當於生物大腦中的「神經元」。