當談及人工神經網絡，黑箱問題總會引起熱議，人們對黑箱問題的評價褒貶不一。
有人認為黑盒是神經網絡的優勢，這代表神經網絡的自主學習性，代表其自動學習以及自動完善的特性。但大部分人認為，黑箱問題需要被解決，當我們將神經網絡應用到一些對安全性，穩定性要求很高的行業，如醫療，我們就必須進行精準控制，出現錯誤或問題時，我們要對內部結構進行分析改正，這時黑箱問題就希望得到解決。
圖|Lillian, Meyes & Meisen
來自 RWTH Aachen（亞琛工業大學）機械工程學院下信息管理研究所的研究人員們在解決黑箱問題上提出了自己的見解，他們探索了神經科學技術的相關應用，以確定人工神經網絡中信息是如何結構化的。
在他們發表在 arXiv 上的論文中，研究者在人工神經網絡中使用了名為「消融」（ablation）的技術，原本是應用於神經科學的一種技術，即在神經網絡中切除大腦的某些神經元來確定它們的功能。
「我們的想法源自於神經科學領域的研究，該領域的主要目標是理解我們的大腦是如何工作的。」Richard Meyes 和 Tobias Meisen 兩位研究者說道。「許多關於大腦功能的見解看法都是通過消融研究獲得的，本質上來說，消融即選擇性地切除或破壞大腦特定區域的組織，以可控的方式進行消融，檢測大腦該部分對諸如言語生成、運動等日常工作的影響。」
在此之前，消融已經被應用在一些人工神經網絡的研究中，但這些研究主要關注於調整神經網絡層和改變其結構，因此更像是參數搜索而不是生物學的消融法。
Mayes Meisen 以及他們的同事 Peter Lillian 進行這項實驗的目的是想從生物學的角度檢驗人工神經網絡，評估它們的結構以及不同組成部分的不同功能。最後，他們決定用消融來做這個測試，這種技術在神經科學研究中使用了 200 多年。
在 Mayes Meisen 和他同事的研究中，研究人員希望以破壞神經網絡的特定區域的方法，觀察該區域如何影響性能。最終，通過這些觀測結果對人工神經網絡和生物神經網絡的組織形式進行比較。
「在人工神經網絡上應用消融的方法十分簡單的，」Meyes 和 Meisen 解釋道。「首先，我們訓練神經網絡來完成特定的任務，比如說識別手寫數字。第二步，我們切除網絡的某一部分，然後評估由這種破壞導致的性能變化。第三步，我們確定網絡性能的改變和被破壞的位置之間是否有聯繫。通過這種方法，我們發現網絡的某些特定能力，比如控制機器人執行前進動作，是通過局部網絡控制的。」
圖| 當每個部分被切除後，切除該部分後的輸出結果會被保存下來。（圖片來源：論文）
通過對訓練用於在線圈中導航的人工神經網絡進行消融操作，並檢查這種幹預措施對輸出產生的影響，研究者獲得了一系列有趣的發現——結果顯示人工神經網絡和生物的神經網絡之間的確存在聯繫和相似之處。這些相似之處與網絡如何自我安排和存儲信息有關。
Meyes 和 Meisen 說道：「最令我們感興趣的發現是，一般來說被損壞的神經網絡性能會下降，但網絡的某些特定能力，比如識別數字，其中部分被損壞反而會增強識別能力。我們的研究表明，我們可以通過消融正確區域用以增加一個神經網絡的性能。此外，研究還表明，神經科學研究得方法在人工神經網絡研究上的應用，或許可以為理解人工智慧開闢新的視角。」
儘管 Meyes, Meisen 和 Lillian 得到了喜人的結果，但他們的研究也存在一定的局限性。比如說，他們的研究受限於使用強化學習，依賴於實時的機器人訓練模型，這僅僅只是檢驗生物神經網絡和人工神經網絡的第一步。
未來的研究工作或許可以更詳細、更大規模地研究人工神經網絡與大腦神經網絡之間的聯繫。
「我們計劃繼續探索通過利用神經科學來啟發人工神經網絡研究的研究方向，」Meyes 和 Meisen 說道。「我們接下來的計劃是將人工神經網絡中的活動可視化，就像大腦的活動可以用例如 fMRI 的成像方法可視化一樣。目標是使神經網絡的決策過程更加透明，從而獲得對人工神經網絡進行更全面的了解。」