聊聊11種主要的神經網絡結構

2021-01-09 51CTO

隨著深度學習的飛速發展，已經創建了整個神經網絡架構，以解決各種各樣的任務和問題。 儘管有無數的神經網絡架構，但對於任何深度學習工程師而言，這裡有11種必不可少的知識，它們分為四大類：標準網絡，遞歸網絡，卷積網絡和自動編碼器。

標準網絡

1.感知器

感知器是所有神經網絡中最基礎的，是更複雜的神經網絡的基本構建塊。 它僅連接輸入單元和輸出單元。


2. 前饋網絡

前饋網絡是感知器的集合，其中存在三種基本類型的層-輸入層，隱藏層和輸出層。 在每次連接期間，來自上一層的信號乘以權重，加到偏置上，並通過激活函數。 前饋網絡使用反向傳播來迭代更新參數，直到達到理想的性能為止。


3.殘差網絡(ResNet)

深度前饋神經網絡的一個問題稱為消失梯度問題，即當網絡太長而無法在整個網絡中反向傳播有用信息時。 隨著更新參數的信號通過網絡傳播，它逐漸減小，直到網絡前端的權重完全沒有改變或被利用為止。

為了解決這個問題，殘差網絡採用了跳過連接，可以跨「跳躍的」層傳播信號。 通過使用不太容易受到影響的連接，可以減少消失的梯度問題。 隨著時間的流逝，網絡在學習特徵空間時會學習恢復跳過的圖層，但由於其不易受到梯度消失的影響並且需要探索較少的特徵空間，因此訓練效率更高。


循環網絡

4.遞歸神經網絡(RNN)

遞歸神經網絡是一種特殊類型的網絡，它包含循環並在其自身上遞歸，因此稱為「遞歸」。 RNN允許將信息存儲在網絡中，使用先前訓練中的推理來做出有關即將發生的事件的更好，更明智的決策。 為此，它將先前的預測用作「上下文信號」。 由於其性質，RNN通常用於處理順序任務，例如逐字母生成文本或預測時間序列數據(例如股票價格)。 他們還可以處理任何大小的輸入。


5.長期短期記憶網絡(LSTM)

RNN存在問題，因為實際上上下文信息的範圍非常有限。給定輸入對隱藏層(因此對網絡輸出)的影響(反向傳播誤差)，要麼呈指數級增長，要麼隨著圍繞網絡連接的循環而消失。解決這個逐漸消失的梯度問題的方法是使用長短期內存網絡或LSTM。

這種RNN架構是專門為解決消失的梯度問題而設計的，將結構與存儲塊配合在一起。這些模塊可以看作是計算機中的存儲晶片-每個模塊都包含幾個循環連接的存儲單元和三個門(輸入，輸出和忘記，相當於寫入，讀取和重置)。網絡只能通過每個門與單元交互，因此門學會了智能地打開和關閉，以防止梯度爆炸或消失，而且還可以通過「恆定誤差輪播」傳播有用的信息，並丟棄無關的存儲內容。


6.回聲狀態網(ESN)

回聲狀態網絡是循環神經網絡的一種變體，具有非常稀疏的連接的隱藏層(通常為百分之一的連接性)。 神經元的連通性和權重是隨機分配的，並且忽略層和神經元的差異(跳過連接)。 學習輸出神經元的權重，使網絡可以產生和再現特定的時間模式。 該網絡背後的理由來自這樣一個事實，儘管它是非線性的，但訓練過程中唯一修改的權重是突觸連接，因此可以將誤差函數區分為線性系統。


卷積網絡

7.卷積神經網絡(CNN)

圖像具有很高的維數，因此訓練一個標準的前饋網絡來識別圖像將需要成千上萬的輸入神經元，這除了公然高昂的計算費用之外，還可能導致與神經網絡的維數詛咒相關的許多問題 。 卷積神經網絡(CNN)通過使用卷積層和池化層來幫助降低圖像的維數，從而提供了解決方案。 由於卷積層是可訓練的，但是其參數比標準隱藏層少得多，因此它能夠突出顯示圖像的重要部分並將它們向前傳遞。 傳統上，在CNN中，最後幾層是隱藏層，用於處理「壓縮圖像信息」。


卷積神經網絡在基於圖像的任務上表現出色，例如將圖像分類為狗或貓。

8.反卷積神經網絡(DNN)

顧名思義，反卷積神經網絡的作用與卷積神經網絡相反。 DNN不執行卷積來減小圖像的維數，而是利用反卷積來創建圖像，通常是根據噪聲來進行的。 這是一項固有的艱巨任務。 考慮CNN的任務是為奧威爾(Orwell)1984年的整本書寫一個三句摘要，而DNN的任務是從三句結構寫整個本書。


9.生成對抗網絡(GAN)

生成對抗網絡是一種專門設計用於生成圖像的特殊類型的網絡，它由兩個網絡組成：鑑別器和生成器。 區分者的任務是區分是從數據集中提取圖像還是由生成器生成圖像，而生成者的任務是生成足夠有說服力的圖像，以使區分器無法區分圖像是否真實。

隨著時間的流逝，經過精心的監管，這兩個對手彼此競爭，互相推動，成功地改善了彼此。 最終結果是訓練有素的生成器，可以吐出逼真的圖像。 鑑別器是一個卷積神經網絡，其目的是最大程度地提高識別真實/偽造圖像的準確性，而生成器是反卷積神經網絡，其目的是使鑑別器的性能最小化。


自動編碼器

10.自動編碼器(AE)

自動編碼器的基本思想是獲取原始的高維數據，將其「壓縮」為高度信息化的低維數據，然後將壓縮後的形式投影到新的空間中。 自動編碼器有許多應用，包括降維，圖像壓縮，去噪數據，特徵提取，圖像生成和推薦系統。 它既可以作為無監督方法，也可以作為有監督方法，對於數據的性質可以非常有見地。


隱藏的單元可以用卷積層替換以適應處理圖像。

11.可變自動編碼器(VAE)

自動編碼器學習輸入的壓縮表示形式，例如可以是圖像或文本序列，方法是先壓縮輸入然後將其解壓縮以匹配原始輸入，而變分自動編碼器(VAE)學習概率分布的參數 代表數據。 它不僅學習表示數據的函數，還獲得了數據的更詳細和細微差別的視圖，從分布中採樣並生成新的輸入數據樣本。 從這個意義上講，它更像是一種純粹的「生成」模型，例如GAN。


VAE使用概率隱藏單元格，該單元格將徑向基函數應用於測試用例與單元格均值之間的差異。

【編輯推薦】

【責任編輯：

武曉燕

TEL：（010）68476606】

點讚 0

相關焦點

  • 人工神經網絡的五大主要應用場景
    人工神經網絡是一種嘗試，模擬組成人腦的神經元網絡，這樣計算機就能像人一樣學習事物並做出決策。人工神經網絡是通過對普通計算機進行編程而產生的，使它們的行為類似於人類的相互連接的腦細胞。人工神經網絡是受人腦啟發的計算模型。人工神經網絡最近的許多進展都是在人工智慧領域取得的，包括語音識別，圖像識別，以及基於人工神經網絡的機器人。
  • 深度神經網絡DNN是否模擬了人類大腦皮層結構
    在這另外說一句，深度神經網絡裡面，大部分節點都是等同的，但是在人類神經網絡裡面，並不是這樣。不同的腦區，甚至腦區內部，神經元的形態都可以有很大的差異，如V1內部的六層就是基於神經元形態的區分。從這個角度，人類神經系統要更複雜一些。我個人並不否認每一種神經元可以用不同初始化參數的 節點來代替，但是目前來說，複雜度還是要比深度神經網絡要高。
  • 深度神經網絡(DNN)是否模擬了人類大腦皮層結構?
    深度神經網絡裡面，大部分節點都是等同的，但是在人類神經網絡裡面，並不是這樣。不同的腦區，甚至腦區內部，神經元的形態都可以有很大的差異，如V1內部的六層就是基於神經元形態的區分。從這個角度，人類神經系統要更複雜一些。我個人並不否認每一種神經元可以用不同初始化參數的 節點來代替，但是目前來說，複雜度還是要比深度神經網絡要高。
  • 神經網絡有哪些主要分類規則並如何分類?
    神經網絡模型的分類 人工神經網絡的模型很多，可以按照不同的方法進行分類。其中，常見的兩種分類方法是，按照網絡連接的拓樸結構分類和按照網絡內部的信息流向分類。
  • 人工神經網絡的定義
    打開APP 人工神經網絡的定義 姚遠香 發表於 2018-11-24 09:21:11
  • 人工智慧-深度學習-神經網絡結構MLP,CNN,RNN,LSTM
    人工神經網絡、激活函數、代價函數、梯度下降、反向傳播是深度學習的幾個關鍵點；常見的深度學習神經網絡結構有多層感知器MLP、CNN、RNN、LSTM等。不管是哪種網絡結構，其根本還是從傳統的神經網絡、多層感知機發展而來的，介紹如下：MLP-Multilayer Perceptron 多層感知器也叫人工神經網絡（ANN，Artificial Neural Network），除了輸入輸出層，它中間可以有多個隱層，最簡單的MLP只含一個隱層，即三層的結構
  • AI的人工神經網絡
    人工神經網絡是模擬人和動物的神經網絡的某種結構和功能的模擬，所以要了解神經網絡的工作原理，所以我們首先要了解生物神經元。其結構如下圖所示：   而人工神經網絡的基本原理也就是對生物神經元進行儘可能的模擬，當然，以目前的理論水平，製造水平，和應用水平，還與人腦神經網絡的有著很大的差別，它只是對人腦神經網絡有選擇的，單一的，簡化的構造和性能模擬，從而形成了不同功能的，多種類型的，不同層次的神經網絡模型。
  • 人工智慧系列(六) 深度學習中的神經網絡
    原力君在系列的第五篇《人工智慧系列(五) 深度學習簡介》中提到深度學習可以看作是一種更高級的函數擬合方法；人工神經網絡、激活函數、代價函數、梯度下降、反向傳播是深度學習的幾個關鍵點；常見的深度學習神經網絡結構有多層感知機、DNN、CNN、RNN等。
  • 人工智慧之卷積神經網絡
    人工神經網絡結構圖我們知道神經網絡主要有三個部分組成，分別為：但是人工神經網絡仍然存在很多的問題，其中最主要的就是BP求解可能造成的梯度消失和梯度爆炸的問題，而卷積神經網絡可以解決這些問題。傳統的神經網絡的結構，它是一種全連接的結構，這也就造成了參數訓練的難度加深。
  • 從經典結構到改進方法,神經網絡語言模型綜述
    神經網絡語言模型（NNLM）克服了維數的限制，提升了傳統語言模型的性能。本文對 NNLM 進行了綜述，首先描述了經典的 NNLM 的結構，然後介紹並分析了一些主要的改進方法。研究者總結並對比了 NNLM 的一些語料庫和工具包。此外，本文還討論了 NNLM 的一些研究方向。
  • 基於憶阻器的神經網絡應用研究
    而在眾多用於實現神經形態計算的硬體元件中，憶阻器以其高集成度、低功耗、可模擬突觸可塑性等特點成為一大有力備選。憶阻器早在1971年就由蔡少棠教授[5]以第4種無源基本電路元件的概念提出，2008年由惠普實驗室首次在 Pt/TiO2/Pt三明治疊層結構中通過實驗驗證[6]。憶阻器首先因其電阻轉變效應而被提出用作阻變存儲器並被廣泛研究。
  • 神經網絡中避免過擬合5種方法介紹
    打開APP 神經網絡中避免過擬合5種方法介紹 THU數據派 發表於 2020-02-04 11:30:00 本文介紹了5種在訓練神經網絡中避免過擬合的技術。
  • FPGA的應用領域主要是深度學習和神經網絡算法
    打開APP FPGA的應用領域主要是深度學習和神經網絡算法 中關村在線 發表於 2019-09-06 17:50:27 且不論CPU與GPU技術已經成熟，擁有完善的生態鏈，CPU與FPGA的結構也有所不同。CPU中擁有控制取指、解碼等流程，處理可信具備處理各式各樣千奇百怪的指令要求的能力。 相比之下FPGA就不能向CPU一樣靈活的處理各種沒有見過的指令，只能根據一個固定的模式來處理輸入的數據然後輸出，這也是為什麼FPGA經常被看作一種行家專屬的架構。
  • 對人工神經網絡「開刀」,利用神經科學消融法檢測人工神經網絡
    當談及人工神經網絡，黑箱問題總會引起熱議，人們對黑箱問題的評價褒貶不一。有人認為黑盒是神經網絡的優勢，這代表神經網絡的自主學習性，代表其自動學習以及自動完善的特性。但大部分人認為，黑箱問題需要被解決，當我們將神經網絡應用到一些對安全性，穩定性要求很高的行業，如醫療，我們就必須進行精準控制，出現錯誤或問題時，我們要對內部結構進行分析改正，這時黑箱問題就希望得到解決。
  • 微軟神經網絡翻譯已支持21種語言 質量提升40%
    微軟神經網絡翻譯已支持21種語言 質量提升40% 時間：2017-11-17 20:41:53
  • 深度| 清華大學自動化系張長水教授:神經網絡模型的結構優化
    清華大學自動化系張長水教授帶來了題為《神經網絡模型的結構優化》的報告。今天我和大家分享的主題是「神經網絡模型的結構優化」。學習率就是我們求偏導的時候，會對導數的權重調整的係數，這個係數特別重要，有相當多的研究工作關注在這個地方，這個地方任何一個突破對所有人都是至關重要的，這裡「所有人」是指對神經網絡使用的那部分研究人員。此外，每層的寬度也是一個重要的參數。我今天的報告主要講如何選擇每層寬度。神經網絡結構優化，有哪些已有的方法？
  • 基於憶阻器的神經網絡應用研究
    而在眾多用於實現神經形態計算的硬體元件中，憶阻器以其高集成度、低功耗、可模擬突觸可塑性等特點成為一大有力備選。憶阻器早在1971年就由蔡少棠教授[5]以第4種無源基本電路元件的概念提出，2008年由惠普實驗室首次在 Pt/TiO2/Pt三明治疊層結構中通過實驗驗證[6]。憶阻器首先因其電阻轉變效應而被提出用作阻變存儲器並被廣泛研究。
  • Nature子刊批人工神經網絡:先天結構比後天訓練更重要
    Zador，對當下人工神經網絡的研究思路進行了深刻反思與批判：大多數動物行為不是通過監督或者無監督算法就能模擬的。具體來說，動物天生具備高度結構化的大腦連接，使它們能夠快速學習。從出生下時的神經結構就決定了動物具有哪些技能，再通過後天學習變得更加強大。
  • 一文讀懂圖神經網絡
    圖神經網絡作為神經網絡擴展，可以處理以圖結構表示的數據格式。在圖中，每個節點都由本身的特性以及其相鄰的節點和關系所定義，網絡通過遞歸地聚合和轉換相鄰節點的表示向量來計算節點的表示向量。圖神經網絡(GraphNeural Networks, GNNs)，主要針對非歐幾裡得空間結構（圖結構）的數據進行處理。
  • 前沿播報 | 新全光二極體、新型自旋閥結構、新型高效節能深度學習神經網絡、「神經網絡核磁共振成像」…
    科學家研製新型自旋閥結構，可控制自旋電流近日，德國美因茨大學、德國康士坦茨大學和日本東北大學的科研人員展開國際科研合作，成功開發出用於磁振子邏輯結構的一種新元件：自旋閥（spin valve）結構，在某種程度上實現了一種開關類型的器件，可阻止或者傳遞作為電信號的磁振子自旋電流。