卷積神經網絡的卷積到底是什麼

2020-11-29 電子發燒友

卷積神經網絡的卷積到底是什麼

人工智慧遇見磐創 發表於 2020-05-05 08:40:00

卷積神經網絡是一種特殊的神經網絡結構，是自動駕駛汽車、人臉識別系統等計算機視覺應用的基礎，其中基本的矩陣乘法運算被卷積運算取代。它們專門處理具有網格狀拓撲結構的數據。例如，時間序列數據和圖像數據可以看作是一個二維像素網格。

歷史

卷積神經網絡最初是由福島核電站在1980年引入的，當時名為Neocognitron。它的靈感來自於Hubel和Weisel提出的神經系統的層次模型。但由於其複雜的無監督學習算法，即無監督學習，該模型並不受歡迎。1989年，Yann LeCun利用反向傳播和Neocognitron的概念提出了一種名為LeNet的架構，該架構被美國和歐洲用於手寫的郵政編碼識別。郵政服務。Yann LeCun進一步研究了這個項目，最終在1998年發布了LeNet-5——第一個引入了我們今天在CNN仍然使用的一些基本概念的現代卷積神經網絡。他還發布了MNIST手寫數字數據集，這可能是機器學習中最著名的基準數據集。在20世紀90年代，計算機視覺領域轉移了它的焦點，許多研究人員停止了對CNN架構的研究。神經網絡的研究經歷了一個寒冷的冬天，直到2012年，多倫多大學的一組研究人員在著名的ImageNet挑戰賽中進入了一個基於CNN的模型(AlexNet)，最終以16.4%的錯誤率贏得了比賽。此後，卷積神經網絡不斷向前發展，基於CNN的體系結構不斷贏得ImageNet, 2015年，基於卷積神經網絡的體系結構ResNet的誤差率超過人類水平的5.1%，誤差率為3.57%。

卷積的誤稱

在CNN中廣泛使用的卷積運算是用詞不當的。嚴格地說，所使用的操作是相關，而不是卷積。這兩個操作符都有一點不同，我們將分別討論它們，以理解它們之間的區別。

互相關

相關是在圖像上移動濾波掩碼(通常稱為核)並計算每個位置的乘積和的過程。相關是濾波器位移的函數。換句話說，相關的第一個值對應濾波器的零位移，第二個值對應一個位移，以此類推。

數學公式:

圖3給出了使用F濾波器與圖像I的一維互相關運算的數學公式。假設F具有奇數個元素會很方便，因此我們可以假設F隨其中心移動。我們說F有2N+1的元素,這些索引從-N到N,F(0)是中心元素。

類似地，我們可以將這個概念擴展到下圖所示的2d情況。基本思想是一樣的，除了圖像和濾波器現在是2D。我們可以假設我們的濾波器有奇數個元素，所以它由一個(2N+1)x(2N+1)矩陣表示。

二維的相關運算非常簡單。我們只是取一個給定大小的濾波器，然後把它放在與濾波器大小相同的圖像的一個局部區域上。我們繼續這個操作，在整個圖像中移動相同的濾波器。這也幫助我們實現了兩個非常受歡迎的屬性:

平移不變性:我們的視覺系統應該感知、響應或檢測相同的物體，而不管它出現在圖像的什麼地方。

局部性:我們的視覺系統聚焦於局部區域，而不考慮圖像的其他部分發生了什麼。

互相關函數具有一個特性，當它應用於離散的單位脈衝(一個二維矩陣，其中只有一個1，其他都是0)時，得到的結果是濾波器的副本，但旋轉了180度。

卷積:

卷積運算與互相關運算非常相似，但有細微的區別。在卷積運算中，首先將核翻轉180度，然後應用於圖像。卷積的基本性質是將一個核與一個離散的單位脈衝進行卷積，在脈衝的位置上得到一個核的拷貝。

我們在互相關部分看到，一個互相關操作產生一個脈衝的拷貝，但是旋轉了180度。因此，如果我們預先旋轉濾波器並執行相同的乘積滑動和運算，我們應該能夠得到期望的結果。

數學公式:利用核函數F對圖像I進行的卷積運算由一維的公式給出。卷積就像相關一樣，只是我們在互相關之前先把濾波器翻轉一下

在二維卷積的情況下，我們水平和垂直翻轉濾波器。這可以寫成:

卷積運算同樣遵循平移不變性和局部性的性質。

注意:儘管這兩個操作稍有不同，但是所使用的核是否對稱並不重要。

結論:

在這篇文章中，我們簡要討論了卷積神經網絡的歷史和一些特性。我們討論了卷積這個錯誤的說法，即在各種文本中經常提到的卷積運算其實是互相關運算。這種差別很細微，但卻很有用，每個進入、練習或經驗豐富的計算機視覺領域的人都應該知道。

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • AI入門:卷積神經網絡
    講到AI不得不講深度學習，而講到深度學習，又不能不講卷積神經網絡。如果把深度學習比作中國的網際網路界，那捲積神經網絡和循環神經網絡就是騰訊和阿里級別的地位。今天我們主要討論的卷積神經網絡，到底卷積神經網絡能解決什麼問題，它的結構是怎樣的？是怎麼學習的？應用在哪些具體的產品上？本文將為大家一一解答。
  • 深入理解卷積網絡的卷積
    卷積神經網絡是一種特殊的神經網絡結構，是自動駕駛汽車、人臉識別系統等計算機視覺應用的基礎，其中基本的矩陣乘法運算被卷積運算取代。它們專門處理具有網格狀拓撲結構的數據。例如，時間序列數據和圖像數據可以看作是一個二維像素網格。
  • 淺析人工智慧的卷積神經網絡與圖像處理
    淺析人工智慧的卷積神經網絡與圖像處理 demi 發表於 2019-11-02 11:23:43 在人工智慧深度學習技術中，有一個很重要的概念就是卷積神經網絡 CNN（Convolutional Neural
  • 梯度上升可視化卷積神經網絡
    為什麼我的CNN網絡模型訓練出來的東西總是過度擬合？已經改了很多次參數都不行，到底是樣本有問題還是網絡模型定義有問題？問題在哪來？CNN網絡模型中的每一層學習的是些什麼特徵？為什麼有的人說第一層卷積核提取的是邊緣信息特徵，有的人卻說第一層卷積核提取的是顏色特徵？到底是兩者都有還是什麼回事？CNN網絡可不可以減掉幾層然後保持相同的精度和損失率呢？
  • YJango的卷積神經網絡——介紹
    PS：YJango是我的網名，意思是我寫的教程，並不是一種網絡結構。。關於卷積神經網絡的講解，網上有很多精彩文章，且恐怕難以找到比斯坦福的CS231n還要全面的教程。 所以這裡對卷積神經網絡的講解主要是以不同的思考側重展開，通過對卷積神經網絡的分析，進一步理解神經網絡變體中「因素共享」這一概念。注意：該文會跟其他的現有文章有很大的不同。
  • 基於卷積神經網絡的目標檢測算法簡介
    什麼是卷積神經網絡？卷積神經網絡是一個層次模型，主要包括輸入層，卷積層，池化層、全連接層以及輸出層。卷積神經網絡是專門針對圖像而設計，主要特點在於卷積層的特徵是由前一層的局部特徵通過卷積共享的權重得到。
  • 卷積神經網絡理解(一):濾波器的意義
    卷積神經網絡的發展二. 卷積神經網絡的重要性三. 卷積神經網絡與圖像識別四.並讓卷積神經網絡在如今計算機視覺領域中佔據著很重要的一部分。在卷積神經網絡中，層與層之間不再是全連接，而是局部連接，具體的實現方法，就是我們在下一節中會介紹的卷積操作。卷積神經網絡屬於局部連接網絡，是基於深刻研究自然圖像而提出來的。自然圖像存在局部區域穩定的屬性，其某一局部區域的統計特徵相對於圖像其他相鄰局部區域具有相似性。
  • 卷積神經網絡(CNN)新手指南
    第一層—數學卷積神經網絡的第一層是卷積層，第一件事是你要記住捲曲層的輸入時什麼。像我們之前提到的，輸入的是一個32×32×3的系列像素值。解釋卷積層的最好方式是想像一個手電筒正在圖像的左上方進行照射，假設手電照射的區域是5 x 5的範圍。再想像下這個手電筒在輸入圖像的各個區域進行滑動。
  • 深度學習入門:淺析卷積神經網絡
    那邏輯回歸和神經網絡有什麼關係呢？首先，我們了解一下什麼是Softmax函數。卷積神經網絡概述在了解卷積神經網絡之前，我們先簡單了解最基本的神經網絡。針對這些問題，人們提出了卷積神經網絡，從而很好地解決了上面的三個問題。與常規神經網絡不同，卷積神經網絡的各層中的神經元是3維排列的：寬度、高度和深度（這個深度指的是某層數據的第三個維度，而不是整個網絡的深度，整個網絡的深度指的是網絡的層數）。下圖是一個卷積神經網絡，它的神經元被排列在3個維度（寬、高和深度）。
  • 一文了解卷積神經網絡基礎,建議收藏
    今天給大家講一下卷積神經網絡，主要包括四個部分：卷積神經網絡的歷史、全連接層、卷積層和池化層。CNN的英文全稱是Convolutional Neural Network，雛形是LeCun在1998年發明的LeNet網絡結構。
  • 卷積神經網絡(CNN)介紹與實踐
    - 來源：http：//cs231n.github.io/classification/為了「教會」一種算法如何識別圖像中的對象，我們使用特定類型的人工神經網絡：卷積神經網絡（CNN）。他們的名字源於網絡中最重要的一個操作：卷積。卷積神經網絡受到大腦的啟發。
  • 人工智慧之卷積神經網絡(CNN)
    今天我們重點探討一下卷積神經網絡(CNN)算法。　　而在卷積神經網絡CNN中(下面右圖)，卷積層的神經元只與前一層的部分神經元節點相連，即它的神經元間的連接是非全連接的，且同一層中某些神經元之間的連接的權重w和偏移b是共享的，這樣大量地減少了需要訓練參數的數量。
  • 華人博士卷積網絡可視化項目火了:點滑鼠就能看懂的掃盲神器
    什麼是 CNN？Convolutional Neural Network，中文譯為「卷積神經網絡」。這個常見但有些深奧的詞彙，只可意會，不能言傳。如果打開教材，會看到這樣一些解釋：卷積層是深度神經網絡在處理圖像時十分常用的一種層。
  • CNN卷積神經網絡(超詳解析)
    1、神經網絡首先了解神經網絡，大家移步這倆篇博客，一篇為純理論，一篇為實戰加理論。機器學習之神經網絡學習及其模型入門講解：使用numpy實現簡單的神經網絡（BP算法）2、卷積神經網絡之層級結構cs231n課程裡給出了卷積神經網絡各個層級結構，如下圖上圖中CNN要做的事情是：給定一張圖片，是車還是馬未知，是什麼車也未知，現在需要模型判斷這張圖片裡具體是一個什麼東西，總之輸出一個結果：如果是車那是什麼車所以最左邊是數據輸入層
  • 一文讀懂卷積神經網絡工作原理
    卷積神經網絡（Convolutional Neural Network, CNN）是人工神經網絡的一種，是當下語音分析和圖像識別領域的研究熱點。這篇文章用最簡明的語言和最直觀的圖像，帶你入門CNN。準備好了嗎？
  • 變形卷積核、可分離卷積?卷積神經網絡中十大拍案叫絕的操作。
    分組卷積的思想影響比較深遠，當前一些輕量級的SOTA（State Of The Art）網絡，都用到了分組卷積的操作，以節省計算量。-- Inception結構傳統的層疊式網絡，基本上都是一個個卷積層的堆疊，每層只用一個尺寸的卷積核，例如VGG結構中使用了大量的3×3卷積層。
  • 卷積神經網絡超詳細總結
    什麼是卷積神經網絡：卷積神經網絡是一種帶有卷積結構的深度神經網絡，卷積結構可以減少深層網絡佔用的內存量，其三個關鍵的操作，其一是局部感受野，其二是權值共享，其三是pooling層，有效的減少了網絡的參數個數，緩解了模型的過擬合問題。
  • 「範例卷積神經網絡」和信息最大化
    這一方法也能被理解為「卷積神經網絡範例」。本文內容摘要：本文對「範例卷積神經網絡」的訓練方法僅作了簡單簡單的概述，所以如果想要獲得更多、更真實的信息，請閱讀論文原文。本文簡要介紹了「變分信息最大化」，並將其運用到了「範例卷積神經網絡」的案例中。
  • 卷積神經網絡算法結構分析及其工作效率的影響因素
    2012年Krizhevsky等提出的卷積神經網絡卷積神經網絡算法結構分析。就目前算法的發展狀況而言，卷及神經網絡作為當前在圖像識別領域的主流算法，被諸多工作團隊所廣泛接受，而對於圖像識別的研究重點，也從尋找更為優秀的算法，轉移到了對卷積神經網絡算法本身的優化上，並且在應用領域，也在近年取得了長足進展。
  • 萬字長文|如何直觀解釋卷積神經網絡的工作原理?
    畫面識別是什麼任務？ 學習知識的第一步就是明確任務，清楚該知識的輸入輸出。卷積神經網絡最初是服務於畫面識別的，所以我們先來看看畫面識別的實質是什麼。 先觀看幾組動物與人類視覺的差異對比圖。 1. 蒼蠅的視覺和人的視覺的差異 2.