...跑遞歸神經網絡!法國研究人員研發新系統識別人類行為,準確率達...

2020-12-06 智東西

智東西（公眾號：zhidxcom）
編 | 韋世瑋

智東西11月14日消息，近日，法國研究人員提出了一種用光子硬體跑遞歸神經網絡的方法，比現有硬體方法的處理速度更快。該神經網絡具有16384個節點，可擴展到數十萬個節點。

同時，該系統基於水庫計算（Reservoir Computing）範式，經過訓練可以使用原始幀作為輸入，或使用定向梯度直方圖（Histogram of Oriented Gradients）提取一組特徵，以訓練識別來自KTH人體行為資料庫中六個人的動作。

該研究成果已於美國時間2019年11月12日發表在學術界頂級期刊《自然機器智能（Nature Machine Intelligence）》雜誌上，名為《大型腦啟發式光子計算機對人類行為的識別（Human action recognition with a large-scale brain-inspired photonic computer）》。

研究人員在論文中表示，該報告的分類精度為91.3%，可與最先進的數字實現相媲美。同時，由於光子結構能提供的大規模並行處理能力，因此他們預期這項工作將為實時視頻處理的簡單可重構，以及節能解決方案帶來更好的發展。

該論文研究人員為Piotr Antonik、Nicolas Marsal、Daniel Brunner和Damien Rontani，來自法國洛林大學、勃艮第-弗朗什孔泰大學、巴黎中央理工-高等電力學院、法國貝桑松光學實驗室和LMOPS EA 4423實驗室。

一、深度學習識別人類行為研究的難點

近年來，人類行為識別已經成為計算機視覺領域中最熱門的研究領域之一。這一發展背後的驅動力，則是監控、控制和分析等領域的潛在應用範圍。

其中，監控主要指隨著時間的推移，跟蹤一個或多個對象並檢測特定的行為，例如人們為了防止汽車被盜而對停車場進行監控便是如此。

而控制，則主要是指與系統控制相關的應用程式利用捕捉到的運動，在遊戲、虛擬環境或遠程設備中提供控制功能。

分析在這裡主要指運動自分析，可用於骨科患者的臨床研究，或幫助運動員提高成績。

這麼看來，從視頻序列中識別人類活動無疑是一個挑戰，研究人員需要克服背景雜亂、尺度或視角變化、照明和外觀等問題。

如今，深度學習已成功應用於語音識別、自然語言處理和推薦系統中。同時，它還被引入到基於視頻的人類行為識別研究中，通過原始視頻輸入，系統能自動進行特徵推斷，以及識別複雜行為。

然而，這一方法也存在缺點，它需要龐大的數據集、非平凡的超參數調優（non-trivial tuning of hyperparameters），以及耗時耗力的訓練過程。這些過程通常需要如GPU等專用的高端硬體。

二、通過光學方法和水庫計算構建光子計算設備

針對深度學習在人類行為識別研究中的難點，研究人員提出了光學信號處理系統的方法，該方法能基於視頻對人類行為進行分類。

實際上，光計算已被科學家們研究了幾十年。

由於光子不產生熱量，也不會受感應和電容效應的影響而導致信號退化。因此，它在光信號傳輸等任務中具有高度的並行性，而並行信號傳輸將為神經網絡帶來巨大的好處。

與此同時，光互連的使用在現代計算系統中越來越多，這表明並行信號傳輸是光子學的強大特性之一。

因此，光學方法可以用來構建高速和節能的光子計算設備。

研究人員用實驗光學系統在水庫計算範式下構建了一個淺層遞歸神經網絡（Shallow Recur-Rent Neural Network）。其中，水庫計算是一套用於設計和訓練人工神經網絡的機器學習方法。

他們計劃利用一個隨機遞歸神經網絡的動力學來處理時間序列，只訓練一個線性輸出層。由此得到了一個更容易訓練的系統，它只有讀出層是通過求解一個線性方程組來優化的。

此外，由於系統在訓練過程中推斷出的參數比以往更少，因此研究人員可以在更小的數據集上對網絡進行訓練，而不會有過度擬合的風險。

與此同時，水庫計算在電子學、光電子學、光學和集成電路等領域的大量實驗，在無線信道均衡、音素識別和混沌時間序列演進等一系列基準任務上，可與其他數字算法相媲美。

實驗結果表明，光子存儲計算機的讀取層可以通過數字微鏡設備進行光學訓練。

在實驗中，研究人員們提到了一個光學水庫計算機（Optoelectronic Reservoir Computer）。該系統採用空間光調製器（SLM）對空間擴展的平面波進行相位調製。

研究人員通過對水庫計算機的節點進行同步光學處理，提供了顯著的並行化潛力，而SLM的物理解析度定義了最大的網絡規模。

從結果來看，該方法不僅可以顯著提高網絡的可伸縮性，同時對成功解決計算機視覺中的難點至關重要。

此外，實驗裝置可以容納16384個節點，而該概念的物理限制高達262144個神經元，同時算法還實現了輸入層、輸出層和網絡的遞歸。

三、識別KTH資料庫準確率高達100%

研究人員在論文中表明，光子計算系統以當下流行的KTH資料庫為基準，其中包含由25位受試者作出的六種不同動作的視頻記錄，如步行、慢跑、跑步、拳擊、揮手和拍手。

在預處理階段，研究人員利用定向梯度直方圖（HOG）算法從單個視頻幀中提取空間和形狀信息，接著再利用光子水庫計算機對六種運動進行分類，得到相應的HOG特徵。

每個受試者都分別執行四次重複動作，產生了600個長度不等的視頻序列數據集，大小從24幀到239幀不等。

隨後，研究人員所有的視頻拼接在一起，並分割成單獨的幀，得到原始視頻流，再進入預處理階段。

待處理完畢後，研究人員再對水庫計算機進行訓練。該訓練是在450個視頻序列子集上進行，每個視頻序列包含一個單獨的運動序列。

在訓練過程中，研究人員採用歸一化均方誤差（NMSE）代價函數，以將水庫輸出和目標類別之間的誤差最小化。

最後，研究人員使用混淆矩陣來計算來衡量水庫計算機性能的指標，由對角線元素之和給出。從結果來看，水庫計算機性能為600分，也就是說，該計算機識別數據集中六個動作的準確率為100％。

此外，研究人員還調查了這一方法在網絡規模從1024到16384個節點下的可伸縮性，報告分類精度高達92%。

這表明，使用簡單的光子系統可以有效解決當前計算機視覺任務所面臨的難點。

結語：為解決圖像、視頻處理難點帶來新思路

總的來說，雖然研究人員設計的這個光子系統較為簡單，但它在KTH數據集上的性能可以與目前最新的深度學習方法相媲美，並優於梯度化的LSTM網絡。

在研究人員看來，這項研究提出的視頻信息處理硬體解決方案，在訓練時長和複雜性方面，都將有可能優於深度學習。

雖然，每一項技術研究從學術界逐漸落地到產業界還需要很長的時間，對它進行實踐與優化。但這一方法的提出，也為解決當下安防、物聯網和AI等領域的圖像處理和視頻處理的任務難點，帶來了新的思路和方向。

論文連結：https://www.nature.com/articles/s42256-019-0110-8
文章來源：Nature

相關焦點

  • 怎樣辨別生物和人工神經網絡中的遞歸?
    反饋連接適合動物的能力和行為，在沒有這種連接的深度學習模型中可能無法複製。　　深度學習人工神經網絡的遞歸　　正如許多讀者所知，深度學習網絡是神經網絡的子類型，其中神經元(或節點)被安排成層。與早期研究的只有一兩個這樣的層的網絡相比，這樣的網絡中存在許多層，這也是它命名的原因。
  • 深度、卷積、和遞歸三種模型中,哪個將是人類行為識別方面的佼佼者?
    深度、卷積、遞歸模型對人類行為進行識別（可穿戴設備數據）聯合編譯：Blake、陳圳、章敏摘要普適計算領域中人類活動識別已經開始使用深度學習來取代以前的依靠手工提取分類的分析技術。在本文中，我們運用目前最先進的深度學習方法對普適計算中的人類行為識別中的三種問題進行了探索。針對深度、卷積和遞歸模型的訓練過程進行了詳細描述，並且我們針對遞歸性網絡介紹一種創新規劃方法。在4000多個實驗中，我們探討HAR中每個超參數對不同的影響，為以後想將深度學習應用到他們的研究中的學者提供了參考。在這些實驗的過程中我們發現，遞歸性網絡實現了目前最佳的表現。
  • 全球首款利用尖峰遞歸神經網絡(SNN)處理雷達信號的晶片
    據外媒報導，近日歐洲研究與創新中心（IMEC）推出全球首款利用尖峰遞歸神經網絡(SNN)處理雷達信號的晶片。首個應用案例將包括為無人機創建一個低功耗、高智能的防碰撞雷達系統，可以更有效地對接近的物體做出反應。 人工神經網絡（ANN）已被證明可在廣泛的應用領域中使用，例如，已被用於汽車工業中常用的基於雷達的防撞系統。但是，人工神經網絡有其自身的局限性——它們消耗的功率過多，無法集成到越來越受約束的（傳感器）設備中。
  • Imec晶片利用尖峰遞歸神經網絡處理雷達信號 可用於汽車防撞系統
    蓋世汽車訊 據外媒報導，歐洲研究與創新中心Imec聲稱推出全球首款利用尖峰遞歸神經網絡（SNN）處理雷達信號的晶片。Imec晶片模仿生物神經元識別時間模式的方式，比傳統方案相比，功耗減少了100倍，同時延遲減少了10倍，幾乎可以瞬間做出決定。
  • 人工智慧能「聽咳嗽識新冠」？研究人員：準確率達98.5%
    英國廣播公司（BBC）8日稱，美國麻省理工學院的研究人員正試圖通過人工智慧算法識別新冠患者，「只要聽到咳嗽聲音，就能知道這個人有沒有感染新冠病毒」。報導稱，相關研究結果發布在電氣電子工程學會的《醫療生物工程》期刊上。論文共同作者之一、麻省理工學院科學家蘇比拉納表示，「感染新冠病毒之後，就算是沒有出現任何症狀，你發出的聲音也會變得不一樣。」
  • 不光人臉識別，AI還能識鳥：歐洲團隊首個模型準確率90%
    澎湃新聞記者 張唯 實習生 厲安恬在研究野生動物及其習性時，識別同一物種的不同個體至關重要。近日，來自法國國家科學研究中心、蒙彼利埃大學和葡萄牙波爾圖大學等研究團隊的科學家開發了首個能夠識別鳥類個體的人工智慧模型。該模型在識別圈養的斑胸草雀(zebra finch)、野生大山雀(great tit)和野生群居織巢鳥( sociable weaver)個體時，準確率約為90%。
  • MIT研發光學深度神經網絡:幾乎不需能耗
    深度學習計算機系統是基於人工神經網絡（Artificial Neural Networks）模仿人腦學習方法的一種系統，現已成為計算機科學領域的熱門話題。深度學習不僅助力了面部和聲音識別軟體的發展，還為醫療領域帶去了大量數據輔助診斷。但這些系統需要執行的計算是非常複雜和嚴格的，即使是對配置最強的計算機來說，計算仍然是個不小的挑戰。目前，研發人員已經研發出一種新型的計算方式——他們用光子代替電子作為信息輸送介質，極大提高了某些深度學習中計算的速度和效率。
  • MIT新突破:Nature Photonics揭秘新型光學深度神經網絡系統
    MIT 官網對這一研究進行了報導解讀，機器之心對這篇文章以及原論文的摘要進行了編譯介紹。該概念圖展示了集成在印製電路板上的可編程納米光子（nanophotonic）處理器，其將助力深度學習計算基於模擬人類大腦激活傳導的人工神經網絡，與其多層疊加的「深度學習」計算機系統已經成為了計算機科學的熱門話題。
  • 地質雲礦物巖石識別系統成功研發
    將於10月正式上線運行的中國地質調查局「地質雲」，為你準備了智能解決方案，其礦物、巖石識別系統對礦物的識別已達到75%，對巖石的識別率達40%~50%。　　 中國地質調查局發展研究中心總工程師、國土資源部地質信息重點實驗室主任譚永傑博士說，地質雲礦物、巖石識別系統，是人工智慧在地質信息化中典型應用，由中國地質調查局發展研究中心通過國土資源部地質信息技術重點實驗室平臺，與華東有色信息中心等單位合作研發。
  • 什麼是人工智慧神經網絡? 神經網絡是怎麼應用到各領域的?|什麼|...
    人腦中的神經網絡是一個非常複雜的組織，成人的大腦中約有1000億個神經元，人類至今仍在探索人腦的工作原理。而人們通過對生物神經元的研究和理解，構建了一個模擬人腦的計算模型：人工神經網絡！ 　　那麼，人工神經網絡是什麼？人類通過構造神經網絡，能否給AI賦能，使之自我進化？ 　　什麼是神經網絡？
  • 擁有「嗅覺」 的新神經算法晶片
    前言： 人類除視覺、聽覺之外，在嗅覺研究上有新突破，帶來新想像空間和應用空間，人類對大腦的認知以及類腦晶片、AI晶片又跨上新臺階，未來的晶片發展之路又有可能另闢蹊徑。神經擬態計算可以大幅度提升數據處理能力和機器學習能力，更重要的是，神經擬態晶片比傳統晶片的能耗要低得多。神經擬態計算是英特爾為應對計算領域非結構化、有噪聲數據日益增加等挑戰而研發的新的計算機架構。應用神經科學的最新見解，來創造作用方式更類似於人腦的晶片而非傳統計算機的晶片。神經擬態系統在硬體層面上複製了神經元組織、通信和學習方式。
  • MIT研究訓練機器學習系統預測人類互動行為
    【天極網IT新聞頻道】近日，MIT計算機科學與人工智慧實驗室(CSAIL)的研究人員研發出一套用於動作預測的機器學習算法，能夠預測人類的互動。研究人員用視頻來訓練這套機器學習系統，以分析並預測人類互動的動作，例如，擁抱、親吻、握手、擊掌等。
  • 華人研究團隊推出AI「諷刺」檢測模型，準確率達86%
    最近，中國北京的信息工程研究所和中國科學院聯合推出的一款AI模型，『諷刺』識別準確率高達86%。而且，這項研究成果還登上了計算機語言協會（ACL）。對此，Facebook首席技術官Mike Schroepfer還曾表示，我沒有天真的以為AI可以解決每天個問題，但我認為它確實能幫助我們完成一些常見任務，以及一些人類無法勝任的、規模達十億的、繁重的任務。在這個例子中，AI的難點就在於如何提高情感分析能力，精準識別出含虛假政治言論的帖子。
  • 華人研究團隊推出AI「諷刺」檢測模型,準確率達86%
    長得醜真是難為你了，早上跑出來嚇人，晚上跑出來嚇鬼。iphone 11 pro max真的一點也不好用，我的卡死了，還是512g的暗夜綠！其實也就這樣，大家還是買1024g的吧如果答對了，你可別驕傲，因為這道題可能連AI都會。最近，中國北京的信息工程研究所和中國科學院聯合推出的一款AI模型，『諷刺』識別準確率高達86%。
  • 圖神經網絡讓預估到達準確率提升50%,谷歌地圖實現新突破
    所以，預估到達時間（ETA）準確率成為非常實際的研究課題。近日，DeepMind 與谷歌地圖展開合作，利用圖神經網絡等 ML 技術，極大了提升了柏林、東京、雪梨等大城市的實時 ETA 準確率。很多人使用谷歌地圖（Google Maps）獲取精確的交通預測和預估到達時間（Estimated Time of Arrival，ETA）。
  • 腦科學日報|西南大學研究首次提出了拖延行為的三重神經網絡模型
    1，專家點評Nature | David Liu再出重磅基因編輯新工具，可實現鹼基隨意轉換與增刪來源：BioArtPE3和PE3b的原理圖：PE3增加的sgRNA識別位點是未編輯的基因組DNA，PE3b增加的sgRNA只識別編輯後的基因組DNA。
  • ...神經網絡重現生物視覺系統,發《自然:神經科學》後再中NeurIPS...
    他們以人類大腦的工作方式為樣本，重新設計人工神經網絡的結構，以淺層神經網絡+循環結構在物體識別任務中取得了優秀的、類似生物視覺系統的表現。這項成果的意義遠不在於物體識別和深度學習本身。實際上，James DiCarlo 教授團隊本來做的就是大腦與認知科學研究，探索、設計工作方式相仿的人工神經網絡可以幫助他們更好地理解生物大腦的原理。
  • 物理波動力學計算在模擬循環神經網絡的應用
    （文章來源：量子認知） 對人腦神經元網絡系統進行抽象建立模型構成的人工神經網絡，簡稱神經網絡或類神經網絡。循環神經網絡（Recurrent Neural Network, 簡稱RNN）是一類以序列數據為輸入，在序列的演進方向進行遞歸且所有節點，即循環單元，按鏈式連接的遞歸神經網絡。模擬循環神經網絡，就是通過模擬電子技術，而不是數字電子技術，實現的循環神經網絡。
  • 基於憶阻器的神經網絡應用研究
    憶阻器首先因其電阻轉變效應而被提出用作阻變存儲器並被廣泛研究。2010年密西根大學盧偉教授團隊[7]提出可以通過操控憶阻器件中離子遷移過程而精細調控器件電導值，率先在Si：Ag憶阻器中實驗模擬實現了突觸權重調節行為和脈衝時序依賴突觸可塑性，從而掀起了憶阻人工神經突觸和神經網絡的研究熱潮。
  • 【新突破】AI系統篩選優質胚胎準確率達90% 大大提高試管嬰兒成功率
    最近有項研究就開發出了這樣的人工智慧系統，挑選優質胚胎準確率竟高達90%！ 該研究團隊選用了授精113小時後的胚胎，並捕獲了胚胎形成圖像，測試了AI系統（人工智慧系統）的選取優質胚胎準確率。結果發現：在742份胚胎中，AI系統選擇優質胚胎準確率高達90％。