新深度學習模型——少量人工神經元造就更高智能

2020-10-15 科技工作者


人工智慧已經進入人類生活的方方面面，小到搜尋引擎，大到自動駕駛汽車，都能發現它的蹤跡。

《自然•機器智能》雜誌當地時間10月13日報導，來自奧地利維也納技術大學（TUW）、奧地利科技學院（ISTA）和美國麻省理工學院（MIT）的研究人員受線蟲等微小動物大腦啟發，開發了一種新型人工智慧系統。這種新型系統只需要少量人工神經元就能控制車輛。

與之前的深度學習模型相比，該系統具有明顯的優勢：能更好地應對嘈雜輸入，而且其操作模式可以詳細解讀。

與活體大腦相似，人工神經網絡也是由許多獨立的細胞組成的。當一個細胞處於活躍狀態時，會向其他細胞發送信號，下一個細胞會將接收到的所有信號進行綜合評估，以決定自身是否也需要被激活。

這種細胞間的活動傳遞模式決定了該系統的行為模式——參數在自動學習過程中可以不斷調整，直至神經網絡能夠解決特定問題。

「多年來，我們一直嘗試從自然中汲取改善深度學習的知識，」TUW網絡物理系統（CPS）研究小組負責人Radu Grosu教授說，「例如，雖然線蟲的神經元數量非常少，但其神經系統在處理信息時卻非常高效、和諧。」受此啟發，研究人員開發了涉及神經元和突觸的新數學模型。

TUW和CSAIL博士後研究員Ramin Hasani博士解釋道：「單個細胞內的信號處理所遵循的數學原理與之前的深度學習模型是不同的。我們設計的網絡高度稀疏，這意味著並非每個細胞都會與其他細胞建立連接，使得網絡變得更簡單。」

隨後，研究人員選擇了一項重要任務測試他們的新模型：自動駕駛汽車在車道上的行駛。神經網絡接收道路的攝像機圖像作為輸入，並自動決定汽車的行駛方向。

「如今，為了學習自動駕駛等複雜任務，深度學習模型通常會包含數百萬個參數。」ISTA博士生Mathias Lechner說，「我們設計的網絡規模縮小了兩個數量級，它只使用了75000個可訓練參數。」

新系統由兩部分組成：卷積神經網絡和「控制系統」（NCP）。卷積神經網絡處理攝像頭輸入，提取其結構特徵，並判斷哪些相機圖像是重要的，然後將經過篩選的信號傳遞給網絡的關鍵部分——NCP。NCP僅由19個神經元組成，能夠將感知模塊的數據轉換為控制指令，最終實施車輛控制。

這兩個子系統堆疊在一起，同時接受訓練，從而有效縮短了訓練時長。

Lechner補充道：「為了測試NCP的穩健性，我們對輸入圖像進行了幹擾，並評估了系統的『噪音』處理能力。對於其他深度神經網絡來說，這一問題是無法攻克的難題。但我們設計的NCP對輸入偽信號表現出了很強的抵抗力。這一屬性是新神經模型和架構的直接結果。」

編譯：雷鑫宇 審稿：西莫 責編：陳之涵

期刊來源：《自然•機器智能》

期刊編號：2522-5839

原文連結：https://techxplore.com/news/2020-10-deep-neurons-intelligence.html

中文內容僅供參考，一切內容以英文原版為準。轉載請註明來源。

相關焦點

  • 基於微小生物大腦的深度學習造就更高智能，擁有了兩大優勢
    這種新型系統只需要少量人工神經元就能控制車輛。與之前的深度學習模型相比，該系統具有明顯的優勢：能更好地應對嘈雜輸入，而且其操作模式可以詳細解讀。與活體大腦相似，人工神經網絡也是由許多獨立的細胞組成的。這種細胞間的活動傳遞模式決定了該系統的行為模式——參數在自動學習過程中可以不斷調整，直至神經網絡能夠解決特定問題。「多年來，我們一直嘗試從自然中汲取改善深度學習的知識，」TUW網絡物理系統（CPS）研究小組負責人Radu Grosu教授說，「例如，雖然線蟲的神經元數量非常少，但其神經系統在處理信息時卻非常高效、和諧。」
  • 深度剖析人工智慧晶片的發展現狀及趨勢
    基於這一現實， 研究界還提出了 SNN（Spiking Neural Network，脈衝神經網絡） 模型。 作為第三代神經網絡模型， SNN 更貼近生物神經網絡——除了神經元和突觸模型更貼近生物神經元與突觸之外， SNN 還將時域信息引入了計算模型。目前基於 SNN 的 AI 晶片主要以 IBM 的 TrueNorth、 Intel 的 Loihi 以及國內的清華大學天機芯為代表。
  • 人工智慧、深度學習與人類智能之間的區別和聯繫
    人工智慧的浪潮正在席捲全球，人工智慧（Artificial Intelligence）、深度學習（Deep Learning）、人類智能（Human Intelligence）這些高頻詞彙經常出現。那麼，什麼是人工智慧？什麼是深度學習？什麼又是人類智能呢？
  • 深度學習大神Yoshua Bengio經典前瞻演講,幫你打通深度學習的任督...
    Yoshua Bengio連同Geoff Hinton老先生以及 Yann LeCun教授一起造就了2006年始的深度學習復興。他的研究工作主要聚焦在高級機器學習方面，致力於用其解決人工智慧問題。目前他是僅存的幾個仍然全身心投入在學術界的深度學習教授之一（蒙特婁大學），本文是他在2009年的經典前瞻演講——「人工智慧學習深度架構」有關內容的第一部分。
  • 盤點金融領域裡常用的深度學習模型
    如果我們將相關的預測變量添加到我們的自回歸模型中並移動到向量自回歸模型，我們得到結果如下圖所示：深度回歸模型如果在數據上使用簡單的深度回歸模型，使用相同的輸入，會得到更好的結果，如下圖所示：卷積神經網絡卷積神經網絡（Convolutional Neural Network, CNN）是一種前饋神經網絡，它的人工神經元可以響應一部分覆蓋範圍內的周圍單元
  • 機器學習算法匯總:人工神經網絡、深度學習及其它
    常見算法包括Q-Learning以及時間差學習（Temporal difference learning）在企業數據應用的場景下， 人們最常用的可能就是監督式學習和非監督式學習的模型。 在圖像識別等領域，由於存在大量的非標識的數據和少量的可標識數據， 目前半監督式學習是一個很熱的話題。 而強化學習更多的應用在機器人控制及其他需要進行系統控制的領域。
  • ACM宣布深度學習三巨頭共同獲得圖靈獎
    【網易智能訊3月28日消息】昨日晚間，ACM（國際計算機學會）宣布，有「深度學習三巨頭」之稱的Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同獲得了2018年的圖靈獎，這是圖靈獎1966年建立以來少有的一年頒獎給三位獲獎者。
  • 機器學習算法盤點:人工神經網絡、深度學習
    常見算法包括Q-Learning以及時間差學習（Temporal difference learning） 　　在企業數據應用的場景下， 人們最常用的可能就是監督式學習和非監督式學習的模型。 在圖像識別等領域，由於存在大量的非標識的數據和少量的可標識數據， 目前半監督式學習是一個很熱的話題。 而強化學習更多的應用在機器人控制及其他需要進行系統控制的領域。
  • 主流的深度學習模型有哪些?
    作者：阿薩姆 | 普華永道 數據科學家量子位 已獲授權編輯發布轉載請聯繫原作者深度學習大熱以後各種模型層出不窮，很多朋友都在問到底什麼是DNN、CNN和RNN，這麼多個網絡到底有什麼不同，作用各是什麼？趁著回答《深度學習的主要分類是什麼呀？這些網絡cnn dbn dnm rnn是怎樣的關係？》
  • 專家深談:深度學習成功的啟示,以及,為什麼它不能解決全部AI問題?
    2、從經驗驅動的人造特徵範式到數據驅動的表示學習範式在深度學習興起之前，專家知識和經驗驅動的AI範式主宰了語音處理、計算機視覺和模式識別等眾多領域很多年，特別是在信息表示和特徵設計方面，過去大量依賴人工，嚴重影響了智能處理技術的有效性和通用性。深度學習徹底顛覆了這種「人造特徵」的範式，開啟了數據驅動的「表示學習」範式。
  • 獨家 | NLP的深度學習:ANN,RNN和LSTM詳解!(附資源)
    然而，在進一步研究之前，首先應了解人工神經網絡（ANN）是什麼。人工神經網絡是一種機器學習模型，它試圖模仿人類大腦的功能，它由連接在一起的大量神經元構建而成- 因此命名為「人工神經網絡」。感知器最簡單的ANN模型由單個神經元組成， Star-Trek將之命名為感知器（Perceptron）。
  • 戴瓊海：深度學習遭遇瓶頸，全腦觀測啟發下一代AI算法
    在未來，我們能不能深入到神經元的層面研究大腦，是非常重要的一步。8月29日至30日，主題為「智周萬物」的2020年中國人工智慧大會（CCAI 2020）在位於江蘇南京的新加坡·南京生態科技島舉辦。4、自適應性差深度學習模型在自適應方面很差，比如診斷模型，如果在訓練過程中未見過相應的數據，就不能對不同體質、不同病史的人進行診斷。5、可解釋性差深度學習網絡是個黑箱，雖然有明顯的效果，但是無法理解產生這些效果的原因。
  • 人工智慧製造業應用場景
    物聯網使得大量數據能夠被實時獲取，大數據為深度學習提供了數據資源及算法支撐，雲計算則為人工智慧提供了靈活的計算資源。這些技術的有機結合，驅動著人工智慧技術不斷發展，並取得了實質性的進展。AlphaGo與李世石的人機大戰，更是將人工智慧推到了風口浪尖，引爆了新一輪的人工智慧熱潮。             此後的近幾年，關於人工智慧的研究和應用開始遍地開花。
  • ...大腦找答案|人工智慧|深度學習|腦科學|神經科學|計算機_網易科技
    用腦啟發設計新的人工智慧晶片是非常必要也是急需的。在這一背景下，新器件的出現變得至關重要，通過引入新原理的半導體器件，不但可以拓展晶片的功能，甚至可以顛覆傳統電路理論，突破當前晶片面臨的能效、速度瓶頸，大幅提升晶片性能。基於過渡族金屬氧化的憶阻器件顯示出了優越的存算一體的特性，能夠規避存儲和計算之間數據搬運的功耗並且能夠實現大規模集成，進而實現高性能計算。
  • 深度長文|人工智慧過去60年沉浮史,未來60年將徹底改變人類
    一種預見是可以產生功能性的人工智慧，這就是今天有監督深度學習所廣泛取得的成果。還有一種觀點是人工智慧可以模仿人的思維和感情活動，這就是無監督深度學習將要開創的未來。當智能機器可以自己張開眼睛看世界，通過自主探索世界來獲得智能的話，未來可能出現的變化就是「無窮大」了。從「無窮動」到「無窮大」，2016年註定是一個精彩之年。
  • MIT用19個神經元實現自動駕駛控制,靈感來自秀麗隱杆線蟲
    打造一個自動駕駛控制系統需要多少個神經元？MIT的科學家告訴你，最少只要19個！方法是向線蟲這種初等生物學習。研究成果登上了最近的《自然·機器智能》雜誌。他們發現，具有19個控制神經元的單個算法，通過253個突觸將32個封裝的輸入特徵連接到輸出，可以學習把高維輸入映射到操縱命令。這種新的AI系統用少量人工神經元控制車輛轉向。而基於LSTM的神經網絡打造同樣的自動駕駛系統，網絡結構則要複雜得多。
  • 理解神經網絡:從神經元到RNN、CNN、深度學習
    並且形成了很多種類，像CNN(卷積神經網絡),RNN,自編碼，深度學習等等。神經網絡對於數據科學和或者機器學習從業者，就像線性回歸對於統計學家一樣。因此，對神經網絡是什麼有一個基本的理解是有必要的，比如，它是怎麼構成的，它能處理問題的範圍以及它的局限性是什麼。這篇文章嘗試去介紹神經網絡，從一個最基礎的構件，即一個神經元，深入到它的各種流行的種類，像CNN,RNN等。
  • 全國首臺億級神經元類腦計算機發布：神經元數量相當於小鼠大腦
    除了記憶提取以外，還能借鑑海馬體網絡結構以及神經機制建立記憶模型架構，通過記憶的脈衝編碼，同一模型就可以學習與記憶語音、歌曲、文本等不同類型數據。在2011年，IBM公司模擬大腦結構，打造出一代具有感知能力的矽晶片模型「TrueNorth」，它能夠像大腦一樣學習和處理信息，根據相應神經元連接路徑進行重組；2014年，IBM在DARPA投資一億美元的「神經形態自適應可塑可擴展電子系統」項目的支持下開發出「TrueNorth」第二代類腦晶片，採用28nm矽工藝技術，神經元數增至100萬個，相比前代提高了3906倍，可編程突觸數量提高了976倍，每秒可進行
  • 一個簡單的深度學習模型,帶你深度了解背後原理
    全文共4431字，預計學習時長9分鐘深度學習是目前在實際數據科學應用中最流行的模型之一。從圖像到文本，再到語音/音樂等領域，它都是一個有效的模型。隨著使用量的上升，快速且可擴展地實現深度學習變得至關重要。Tensorflow等深度學習平臺的興起可以幫助簡化開發人員的實現方式。
  • 深度學習與自然語言處理的工作概述及未來發展
    所以，在平均意義下學習方法的優劣還是有的，至少經驗性上是這樣。　　這個定理的一個推論就是，深度學習不是萬能的，至少理論上存在一些問題，其他方法比深度學習能做得更好，儘管有時可能碰到這種情況的概率不高。　　深度學習與人的大腦有什麼關係？歷史上，人工神經網絡的發明，在一定程度上受到了人腦信息處理機制的啟發。但是，人工神經網絡，包括深度神經網絡，本質上還是機器學習模型。