什麼是人工神經網絡(ANN)?

2020-12-14 CDA數據分析師

作者 | Ben Dickson編譯 | CDA數據分析師

過去十年中最具影響力的技術之一是人工神經網絡,它是深度學習算法的基本組成部分,是人工智慧的前沿。

每天使用神經網絡的應用程式有很多,例如Google的翻譯服務,Apple的Face ID iPhone鎖和Amazon的Alexa AI驅動的助手。神經網絡也在其他領域的一些重要人工智慧突破背後,例如診斷皮膚和乳腺癌,讓目光投向自動駕駛汽車。

人工神經網絡背後的概念和科學已經存在了數十年。但是直到最近幾年,神經網絡的承諾才變為現實,並幫助AI行業擺脫了漫長的冬季。

儘管神經網絡幫助AI取得了飛躍,但它們也常常被誤解。這時您需要了解的有關神經網絡的所有信息。

人工和生物神經網絡之間的相似性

人工智慧先驅的最初願景是複製人類大腦的功能,這是自然界最聰明,最複雜的已知創造。這就是為什麼該領域從人類心靈的形體和功能派生出其大部分術語(包括「人工智慧」一詞)的原因。

人工神經網絡的靈感來自其生物學對應物。大腦的許多功能仍然是個謎,但是我們知道的是,生物神經網絡使大腦能夠以複雜的方式處理大量信息。

大腦的生物神經網絡由大約1000億個神經元組成,這是大腦的基本處理單元。神經元通過彼此之間巨大的連接(稱為突觸)來執行其功能。人腦大約有100萬億個突觸,每個神經元約有1,000個。

大腦的每個功能都涉及在大量此類神經元中運行的電流和化學反應。

人工神經網絡如何運作

人工神經網絡的核心成分是人工神經元。每個神經元接收來自其他幾個神經元的輸入,將它們乘以分配的權重,將它們相加,然後將總和傳遞給一個或多個神經元。一些人工神經元可能在將輸出傳遞給下一個變量之前將激活函數應用於輸出。

人工神經元的結構,人工神經網絡的基本組成部分(來源:維基百科)

從本質上講,這聽起來像是一個非常瑣碎的數學運算。但是,當您將成千上萬的神經元多層放置並堆疊在一起時,您將獲得一個人工神經網絡,可以執行非常複雜的任務,例如對圖像進行分類或識別語音。

人工神經網絡由一個輸入層和一個輸出層組成,其中輸入層從外部源(數據文件,圖像,硬體傳感器,麥克風等)接收數據,一個或多個隱藏層處理數據,輸出層提供一個或多個數據點基於網絡的功能。例如,檢測人,汽車和動物的神經網絡將具有一個包含三個節點的輸出層。對銀行在安全和欺詐之間進行交易進行分類的網絡將只有一個輸出。

神經網絡由多層組成

訓練人工神經網絡

人工神經網絡首先為神經元之間的連接權重分配隨機值。ANN正確而準確地執行其任務的關鍵是將這些權重調整為正確的數字。但是找到合適的權重並不是一件容易的事,特別是當您處理多層和成千上萬的神經元時。

通過對帶有注釋示例的網絡進行「培訓」來完成此校準。例如,如果您要訓練上述圖像分類器,則可以為其提供多張照片,每張照片均標有其相應的類別(人,汽車或動物)。當您為它提供越來越多的訓練示例時,神經網絡會逐漸調整其權重,以將每個輸入映射到正確的輸出。

基本上,訓練期間發生的事情是網絡進行自我調整以從數據中收集特定模式。同樣,對於圖像分類器網絡,當您使用質量示例訓練AI模型時,每一層都會檢測到特定的特徵類別。例如,第一層可能檢測到水平和垂直邊緣,第二層可能檢測到拐角和圓形。在網絡的更深處,更深的層次將開始挑選出更高級的功能,例如面部和物體。

神經網絡的每一層都將從輸入圖像中提取特定特徵。

當您通過訓練有素的神經網絡運行新圖像時,調整後的神經元權重將能夠提取正確的特徵並準確確定圖像屬於哪個輸出類別。

訓練神經網絡的挑戰之一是找到正確數量和質量的訓練示例。而且,訓練大型AI模型需要大量的計算資源。為了克服這一挑戰,許多工程師使用「 轉移學習」(一種培訓技術),您可以採用預先訓練的模型,並使用針對特定領域的新示例對其進行微調。當已經有一個與您的用例接近的AI模型時,轉移學習特別有效。

神經網絡與經典AI

傳統的基於規則的AI程序基於經典軟體的原理。電腦程式旨在對存儲在存儲單元中的數據運行操作,並將結果保存在其他存儲單元中。程序的邏輯是順序的,確定性的,並基於明確定義的規則。操作由一個或多個中央處理器運行。

但是,神經網絡既不是順序的也不是確定性的。另外,無論底層硬體如何,都沒有中央處理器來控制邏輯。相反,邏輯分布在成千上萬個較小的人工神經元上。人工神經網絡不運行指令;相反,他們對輸入執行數學運算。開發模型行為的是他們的集體行動。

神經網絡不是通過手動編碼的邏輯表示知識,而是在權重和激活的總體狀態下對知識進行編碼。特斯拉AI負責人安德烈·卡帕蒂(Andrej Karpathy)在一篇出色的媒體文章「 軟體2.0 」 中雄辯地描述了神經網絡的軟體邏輯:

我們都熟悉Software 1.0的「經典堆棧」, 它是用Python,C ++等語言編寫的。它由程式設計師編寫的對計算機的明確指令組成。通過編寫每一行代碼,程式設計師可以識別程序空間中具有某些所需行為的特定點。

相比之下, Software 2.0可以用更加抽象的,人類不友好的語言(例如神經網絡的權重)來編寫。沒有人參與編寫此代碼,因為權重很多(典型的網絡可能有數百萬個),而直接用權重編碼有點困難(我嘗試過)。

神經網絡與其他機器學習技術

人工神經網絡只是執行機器學習的幾種算法之一,而 機器學習是人工智慧的分支,它根據經驗來發展行為。還有許多其他機器學習技術,它們可以在數據中找到模式並執行諸如分類和預測之類的任務。其中一些技術包括回歸模型,支持向量機(SVM),k最近方法和決策樹。

但是,在處理雜亂且非結構化的數據(例如圖像,音頻和文本)時,神經網絡的性能優於其他機器學習技術。

例如,如果要使用經典的機器學習算法執行圖像分類任務,則必須進行大量複雜的「功能工程」,這是一個複雜而艱巨的過程,需要數名工程師和領域專家的共同努力。神經網絡和深度學習算法不需要特徵工程,只要訓練得當,就可以自動從圖像中提取特徵。

但是,這並不意味著神經網絡可以替代其他機器學習技術。其他類型的算法需要較少的計算資源,並且較不複雜,這使得它們在嘗試解決不需要神經網絡的問題時更可取。

其他機器學習技術也是可以解釋的(在下文中有更多介紹),這意味著更容易研究和更正他們做出的決策。這可能使它們在解釋性比準確性更重要的用例中更可取。

神經網絡的局限性

儘管有人工神經網絡的名稱,但其與人類等效的神經網絡卻有很大不同。儘管神經網絡和深度學習是當今AI的最先進技術,但與人類智能仍然相距甚遠。因此,神經網絡將在您希望從人類的思想中想到的許多事情上失敗:

神經網絡需要大量數據:與人腦可以通過很少的示例學習做事的人腦不同,神經網絡需要成千上萬個示例。神經網絡在概括方面很不好:神經網絡將在經過培訓的任務上準確執行,但在其他任何方面都表現不佳,即使它與原始問題相似。例如,接受過數千張貓圖片訓練的貓分類器將無法檢測到狗。為此,它將需要成千上萬張新圖像。與人類不同,神經網絡不會在符號(耳朵,眼睛,鬍鬚,尾巴)方面發展知識,它們會處理像素值。這就是為什麼他們將無法從高級功能上了解新對象,因此需要從頭開始對其進行重新培訓。神經網絡是不透明的:由於神經網絡通過神經元的權重和激活來表達其行為,因此很難確定其決策背後的邏輯。這就是為什麼它們經常被稱為黑匣子。這使得很難確定他們是否基於錯誤的因素做出決策。人工智慧專家和神經科學家Gary Marcus 在去年的一份深入研究論文中解釋了深度學習和神經網絡的局限性。

而且,在邏輯和推理很明確並且可以編入不同規則的問題中,神經網絡也不能替代老式的基於規則的AI。例如,在求解數學方程式時,神經網絡的性能非常差。

為了克服神經網絡的局限性,人們進行了許多努力,例如由DARPA資助的創建可解釋的AI模型的計劃。其他有趣的發展包括開發 結合了神經網絡和基於規則的AI的混合模型,以創建可解釋且需要較少訓練數據的AI系統。

儘管要實現人類級AI的目標(如果我們能夠實現),還有很長的路要走,但是神經網絡使我們更加接近。看看下一個AI創新將是什麼會很有趣。

更多行業乾貨持續不斷分享給大家,可以一直關注我們喲!

相關焦點

  • 人工智慧學習之什麼是人工神經網絡?
    許多人工智慧計算機系統的核心技術是人工神經網絡(ANN),而這種網絡的靈感來源於人類大腦中的生物結構。通過使用連接的「神經元」結構,這些網絡可以通過「學習」並在沒有人類參與的情況下處理和評估某些數據。這樣的實際實例之一是使用人工神經網絡(ANN)識別圖像中的對象。
  • AI的人工神經網絡
    人工神經網絡是模擬人和動物的神經網絡的某種結構和功能的模擬,所以要了解神經網絡的工作原理,所以我們首先要了解生物神經元。其結構如下圖所示: 從上圖可看出生物神經元它包括,細胞體:由細胞核、細胞質與細胞膜組成;軸突:是從細胞體向外伸出的細長部分,也就是神經纖維。
  • 人工智慧研究人員開發了一種基於尖峰神經網絡的神經形態晶片
    人工神經網絡是一種基於模仿生物大腦原理的信息處理系統,在模式識別、自動控制、信號處理、決策支持系統和人工智慧等應用領域有著廣泛的應用。脈衝神經網絡(SNNs)是一種基於離散時間脈衝進行信息處理的生物神經網絡。它們比經典的ann在生物學上更真實,並且有可能實現更好的性能-功率比。
  • 研究不同神經元在人工神經網絡中的作用
    在過去十年左右的時間裡,世界各地的研究人員一直在開發越來越先進的人工神經網絡(ANNs),這種計算方法旨在複製人類大腦的生物機制和功能。雖然其中一些網絡在各種任務中取得了顯著的成果,但預測背後的決策過程並不總是很清楚。
  • 人工神經網絡比我們想像得更類似於大腦
    經過數十年的研究和開發,研究人員已經設法創建了深度神經網絡,有時在特定任務中與人類的表現相匹配或超越。 但是,關於人工智慧的討論中反覆出現的主題之一是,深度學習中使用的人工神經網絡,是否類似於我們大腦的生物神經網絡。 許多科學家認同,人工神經網絡是對大腦結構的非常粗略的模仿,有些人認為,人工神經網絡是統計推理引擎,不能反映大腦的許多功能。
  • 科學家創建時滯人工神經網絡 提高自適應減震器性能
    蓋世汽車訊 據外媒報導,來自南烏拉爾州國立大學(Scientists at South Ural State University)的科學家為自適應減振器開發了基於時滯人工神經網絡的有效底層控制器。Yuri Rozhdestvensky DSc及其研究團隊在論文中介紹了基於人工神經網絡的主動減震器控制算法的使用。
  • 清華制人工神經網絡晶片,能效比GPU高兩個數量級
    近日,清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強團隊與合作者在頂尖學術期刊、英國《自然》雜誌(Nature)在線發表論文,報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。基於憶阻器晶片的存算一體系統 來源:清華大學什麼是憶阻器?
  • 人工神經網絡和BaggingRegressor預測模型比較分析
    人工神經網絡是一種模仿生物神經網絡(大腦)的結構和功能的數學模型或計算機模型,由輸入層(input layer),隱藏層(hidden layers)
  • 人工神經機器人系統是什麼一號
    人工神經機器人系統是神工一號。人工神經機器人是基於神經科學和機器人技術的新型機器人系統,以生物神經系統作為信息接口,對生物體-設備-環境三者進行閉環信息融合,達到對生命體某些生理機能的補償、增強或拓展需求。
  • 「文獻筆記」粒子群優化人工神經網絡,預測光伏光熱系統熱電輸出
    人工神經網絡人工神經網絡(Artificial Neural Network,ANN),是基於生物學中神經網絡的基本原理,在理解和抽象了人腦結構和外界刺激響應機制後,以網絡拓撲知識為理論基礎,模擬人腦的神經系統對複雜信息的處理機制的一種數學模型。
  • 清華用憶阻器制人工神經網絡晶片,能效比GPU高兩個數量級
    近日,清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強團隊與合作者在頂尖學術期刊、英國《自然》雜誌(Nature)在線發表論文,報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。該存算一體系統在處理卷積神經網絡(CNN)時能效比前沿的圖形處理器晶片(GPU)高兩個數量級,可以說在一定程度上突破了「馮諾依曼瓶頸」的限制:大幅提升算力的同時,實現了更小的功耗和更低的硬體成本。基於憶阻器晶片的存算一體系統 來源:清華大學什麼是憶阻器?
  • 重建腦科學與AI之間的橋梁,人工神經網絡比機器學習更優嗎?
    1943 年,美國神經科學家麥卡洛克(Warren McCulloch)和邏輯學家皮茨(Water Pitts)在 「A Logical Calculus of Ideas Immanent in Nervous Activity」 一文中提出了神經元的數學模型,受人體大腦神經元的啟發,機器學習領域早期的重要算法 —— 人工神經網絡(Artificial
  • 贈書|人工智慧識萬物:卷積神經網絡的前世今生
    在前述章節的基礎上,本章將主要介紹訓練卷積神經網絡和深度神經網絡的重要方法與技巧,深度神經網絡的遷移學習策略,以及如何訓練深度神經網絡以解決實際問題等內容。*文末有贈書福利受20世紀中期興起的神經科學及腦科學研究的啟發,通過模擬生物神經元接收和處理信息的基本特性,研究人員提出並設計了人工神經元。作為計算機科學、生物學和數學的交叉融合,卷積神經網絡已經發展成為計算機視覺領域中最具影響力和有效的基礎技術。
  • BP人工神經網絡實驗,蠓蟲分類(美國1989年建模賽題)
    1、用BP人工神經網絡擬合函數 y=0.12e^(-0.23x)+0.54e^(-0.17x)sin(1.23x).要求給出真實數據點,用*表示,給出BP神經網絡擬合後的曲線。同時用CFTOOL和1stopt驗證。
  • 什麼是神經網絡?工作原理是什麼?——AI算法必懂
    關注AI的同學一定都知道神經網絡,這是AI算法中模擬人的大腦所衍生出來的學科和算法。可以說,不了解神經網絡就不能說動算法,懂算法者必懂神經網絡。下面我們就對神經網絡的工作原理進行深入淺出的介紹。YQ0ednc
  • 速度數百倍之差,有人斷言KNN面臨淘汰,更快更強的ANN將取而代之
    與暴力 KNN 相比,人工神經網絡可以在短時間內獲得卓越的準確性。, ann_distances = p.knn_query(features, k)KNN 和 ANN 基準實驗計劃首先下載一個 500K + 行的大型數據集。
  • 首款基於新型神經網絡的雷達晶片誕生
    近期,歐洲研究與創新中心Imec推出了世界上第一個使用尖峰遞歸神經網絡處理雷達信號的晶片。通過模仿生物神經元群操作來識別時間模式的方式,imec的晶片功耗比傳統實現方案少100倍,同時延遲減少了十倍,幾乎可以立即做出決策。
  • 神經網絡計算效率如何來提高
    閃億半導體的該項專利,在計算神經網絡時,呈陣列排布的多個存儲單元中,任意N條第一信號線和任意M條第二信號線限定的區域均可以作為一個存儲陣列,從而大大增加存算一體化電路中的存儲陣列數量以及各存儲陣列大小的靈活性,進而增加所能計算的神經網絡的神經元層數目範圍以及每個神經元層內的節點數目範圍。
  • 神經網絡可以複製受損的大腦以使神經病患者受益
    打開APP 神經網絡可以複製受損的大腦以使神經病患者受益 網際網路分析沙龍 發表於 2020-12-19 09:50:16   索爾克研究所(Salk Institute)的研究人員已經使用神經網絡體系結構,以算法模擬了神經心理障礙患者對前額葉皮層的損害。
  • 機器學習之神經網絡(1)
    其實神經網絡技術的靈感來自人體內的神經結構。,我們可以自己人工創建一個「神經元」——感知器。(可以細細體會一下~)由此,神經網絡的理論開始大放異彩,再加上如今硬體設備的發達以及網絡結構的不斷簡化,神經網絡得到了很好的發展。