視覺，觸覺，聽覺，嗅覺和味覺在人類多感覺神經網絡中的集成和交互作用促進了高級認知功能，例如跨模態集成，識別和想像力，以準確評估和全面理解多模態世界。
芬蘭阿爾託大學Sebastiaan van Dijken與Hongwei Tan課題組合作報導了一個由生物啟發的多感覺神經網絡，該網絡集成了人工視覺，傳入，聽覺和模擬的嗅覺和味覺感覺神經。藉助分布式多個傳感器和仿生分層體系結構，該系統不僅可以感知，處理和存儲多模式信息，而且可以在硬體和軟體級別融合多傳感器數據。使用交叉模態學習，該系統能夠交叉模態識別和想像多模態信息，例如在手寫輸入時可視化字母，識別多模態視覺/氣味/趣味信息或在聽其描述時想像從未看過的圖片。該多傳感器神經網絡為機器人的感知和感知提供了一種有前途的方法。
圖1：人和人工多感覺神經網絡的示意圖。
圖2：人工視覺系統中受生物啟發的感覺門控
圖3：具有跨峰整合的生物啟發式多感覺神經元。
圖4：觸覺-視覺交叉模式識別。
圖5：聽覺-視覺/氣味/口味跨模式識別和想像力。
作者提出了一個人工的多感覺神經網絡系統（MseNN），該系統將五種人工感覺與多模式感測，峰值編碼，憶阻處理和交叉模式識別相集成。MSeNN使用多個傳感器進行感測，使用尖峰對傳感器信息進行編碼，並使用光電憶阻器陣列在硬體級別上解釋，過濾，集成和存儲多傳感器信息。光電憶阻器陣列的內置內存和信息過濾屬性有助於對ANN進行有監督的訓練，該訓練可在五種感官之間建立關聯，從而實現高級認知功能，包括在觸覺或音頻輸入時對視覺/氣味/味覺信息進行交叉模式識別，以及聽到從未描述過的圖片時的交叉模式想像力。儘管與生物系統相比，這些演示很簡單，但是該MSeNN系統的層次結構，原理概念和認知功能可以直接擴展到其他感官集成，從而為機器人感應和認知提供了一種有希望的策略。
【參考文獻】
https://www.nature.com/articles/s41467-021-21404-z#Abs1
【相關閱讀】
氣體傳感-基於比色條形碼組合和深度卷積神經網絡的可攜式食品新鮮度檢測平臺
二維器件-用於人工神經網絡的高密度憶阻陣列的晶圓級集成
.
WEST可穿戴電子微信群開通。歡迎加入、推薦、分享和交流，謝謝！
該平臺免費提供相關領域的論文宣傳和招生招聘，有興趣請關注訂閱號給小編留言或者郵件聯繫 E-mail：wonger.west@gmail.com