在過去十年左右的時間裡,世界各地的研究人員一直在開發越來越先進的人工神經網絡(ANNs),這種計算方法旨在複製人類大腦的生物機制和功能。雖然其中一些網絡在各種任務中取得了顯著的成果,但預測背後的決策過程並不總是很清楚。
德國數字轉型技術與管理研究所和機械工程信息管理研究所的研究人員最近進行了一項研究,旨在更好地了解神經網絡決策過程的機制。他們在arXiv上發表的一篇論文中概述了他們的發現,闡明了單個神經元和不同神經元群在這些網絡中的作用。
「我們最近的研究是基於我們之前的工作,我們在其中描述了人工神經網絡中單個神經元對其學習任務的重要性,」開展這項研究的研究人員之一Richard Meyes告訴TechXplore。「在我們的新研究中,我們將研究範圍擴大到更大的神經元群,目的是識別包含的單元共同作用於解決網絡訓練任務的功能神經元群。」
為了研究不同的神經元在神經系統中的作用,Meyes和他的同事從神經科學研究中常用的技術中獲得了靈感。他們的最終目標是通過觀察網絡在面對不同刺激時的表現來描述網絡的表現,同時激活或停用一些神經元以更好地理解它們在處理這些刺激時的作用。
Meyes解釋說:「簡單地說,我們詢問了大腦網絡是否會對不同的圖像表現出特定的活動模式,並研究了大腦網絡中哪些神經元參與了這些活動模式。」「我們還使用網絡消融來去除網絡中的單個神經元和神經元群,以確定這些神經元在創造這些活動模式中扮演的角色。」
他們基於神經科學的方法讓Meyes和他的同事收集了一些有趣的觀察結果。最值得注意的是,研究人員發現了具有不同功能的神經元群。他們還發現,當對特定類型的刺激或失活的刺激(例如,神經元)做出反應時,一些神經元群會一起活動。某些神經元對人工神經網絡的整體表現有類似的影響。
「我們最有趣的發現是,在網絡中有不同的神經元子集,它們對處理過的圖像數據的不同部分很重要,」Meyes說。「這表明,從訓練數據中獲得的知識的各個方面,都是局部地反映在網絡的特定部分中的。」
Meyes和他的同事最近進行的研究提供了有價值的見解,可能對神經系統的發展和未來的神經科學研究都有意義。除了揭示了神經網絡中不同神經元的作用外,他們的發現還表明,存儲在網絡中的特定知識可以被分離並提取到一個新的網絡中,而無需對新網絡進行相同知識的訓練。
Meyes說:「在我們未來的研究中,我們計劃研究是否有可能在一個網絡中分離所學知識的特定部分,並將其轉移到其他網絡中。」「這將促進一種以模塊化方式構建神經網絡的新方法,將包含特定知識的不同網絡的小電路組合成一個更大的網絡。」