10分鐘弄懂深度學習3:卷積可以這麼理解

2020-12-04 Mcix創客

機器學習、信號處理、通信、或自動控制相關專業的學生,無一例外都會碰到一個概念叫,卷積(convolution)。

當前最熱門的人工智慧中的卷積神經網絡,也都含有卷積這個詞。

那麼,卷積到底是個什麼東西呢?有什麼用呢?

卷積的定義

卷積實際上是兩個信號的操作

我們拿一維信號而言,兩個一維時間信號的卷積f(t)*h(t)是這樣定義的:

我們需要注意,兩個一維時間信號的卷積f(t)*h(t),結果仍然是一個關於時間t的函數。

這和我們在信號處理裡面接觸的很多變換不同,這些變換的結果,和原來的信號往往不在一個域。例如,一個時間函數f(t)的傅立葉變換F(ω)是頻域信號。

卷積的數學意義

在卷積的定義式1.1中,等式右邊的積分變量是τ。這樣,h(t-τ)就是把h(τ)先按照縱軸對摺,變成h(-τ)。

再將h(-τ)加一個時間上的偏移t。

然後把h(t-τ)同f(τ)相乘得到的函數在τ=[-∞,∞]覆蓋的面積,就是得到了f(t)*h(t)。

注意,此時的這個面積,是對應某一個具體的t的時候卷積f(t)*h(t)的大小。

因為我們要得到所有的t時f(t)*h(t)的值,那麼此時我們就需要去改變t。

對應的措施就是將t從-∞開始,沿著τ軸自左向右滑動。

每移動到一個新的位置t時,我們就計算這兩個函數h(t-τ)和f(τ)的乘積函數的面積。這個面積就是卷積f(t)*h(t)在t處的值。

這個過程可以用圖1.1來說明。

圖示來解釋卷積,其數學意義很清楚,但物理意義卻模糊了。

為什麼要把h(t)翻過來,為什麼要做積分求面積?或者說到底,為什麼我們需要卷積這麼個奇怪的東西呢?下篇文章為你揭秘!

相關焦點

  • 深度| 理解深度學習中的卷積
    但卷積為什麼如此強大?它的原理是什麼?在這篇博客中我將講解卷積及相關概念,幫助你徹底地理解它。網絡上已經有不少博客講解卷積和深度學習中的卷積,但我發現它們都一上來就加入了太多不必要的數學細節,艱深晦澀,不利於理解主旨。這篇博客雖然也有很多數學細節,但我會以可視化的方式一步步展示它們,確保每個人都可以理解。文章第一部分旨在幫助讀者理解卷積的概念和深度學習中的卷積網絡。
  • 形象理解深度學習中八大類型卷積
    本文總結了深度學習中常用的八大類型的卷積,以非常形象的方式幫助你建立直覺理解,為你的深度學習提供有益的參考。分別是單通道卷積、多通道卷積、3D卷積、1 x 1卷積、轉置卷積、擴張卷積、可分離卷積、分組卷積。
  • 10分鐘弄懂深度學習4:分類模型與卷積神經網絡的千絲萬縷
    網上講卷積神經網絡的文章很多,但是,很多文章引入了過多的細節和公式,讓人看完以後只有不明覺厲的感覺,讓人對卷積神經網絡的理解仍然停留在公式的層面。我這個專欄,想撥開重重迷霧,幫助大家理解什麼是卷積神經網絡的核心。我先總結一下本篇文章的脈絡。
  • 深度學習之卷積神經網絡經典模型
    池化層包含了六個特徵映射,每個映射的像素值為14x14,這樣的池化層非常重要,可以在一定程度上保證網絡的特徵被提取,同時運算量也大大降低,減少了網絡結構過擬合的風險。因為卷積層與池化層是交替出現的,所以隱藏層的第三層又是一個卷積層,第二個卷積層由16個特徵映射構成,每個特徵映射用於加權和計算的卷積核為10x10的。
  • 從全卷積網絡到大型卷積核:深度學習的語義分割全指南
    By路雪 2017年7月14日  語義分割一直是計算機視覺中十分重要的領域,隨著深度學習的流行,語義分割任務也得到了大量的進步。本文首先闡釋何為語義分割,然後再從論文出發概述多種解決方案。本文由淺層模型到深度模型,簡要介紹了語義分割各種技術,雖然本文並沒有深入講解語義分割的具體實現,但本文簡要地概述了每一篇重要論文的精要和亮點,希望能給讀者一些指南。
  • 要理解深度學習,必須突破常規視角去理解優化
    深度學習算法有一些重要的特性並不總是反映在目標值中。所以,要加深對深度學習的理解,還得超越常規視角。但我認為,如果你的目標是對深度學習進行數學理解的話,那麼從常規視角去理解優化明顯是不夠的。優化的常規視角:儘快找到目標最小可能值的解決方案。先驗上來說,並不確定是否所有的學習都要優化一個目標。大腦中的學習是否也如此是神經科學中一個長期存在的開放性問題。大腦的組成部分似乎已經通過各種進化事件被重新利用/拼湊在一起,整個組合可能或不可以歸結為目標的優化。
  • 萬字長文帶你看盡深度學習中的各種卷積網絡(上篇)
    如果你曾聽過深度學習的各種卷積網絡(例如 2D/3D/ 1x1 / 轉置 /空洞(擴張)/ 空間可分離 / 深度可分離 /扁平化 / 分組 / 混洗分組卷積)並疑惑它們到底都是什麼的話,你可以通過這篇文章了解它們實際的工作原理。在文中,我概括性地介紹了在深度學習中常見的幾種卷積,並採用了大家都能夠明白的方式來解釋它們。
  • 看懂這十步,8歲的小朋友都能理解深度學習
    如果對當今人工智慧的主流技術——深度學習沒有了解,可能真的會有人覺得,當前的科學家們在創造無所不能、無所不知的電影AI形象。那麼,如何用最淺顯的方式,給大眾解釋什麼是深度學習呢?法國博主Jean-Louis Queguiner撰寫了這篇《給我8歲的女兒解釋深度學習》,以用深度學習技術搭建識別手寫數字的神經網絡為例,用清晰的方式,解釋了深度學習的原理。這些數字每個人的寫法都不一樣,要如何讓計算機判斷出這些手寫體數字是幾呢?
  • 深入理解卷積網絡的卷積
    例如,時間序列數據和圖像數據可以看作是一個二維像素網格。歷史卷積神經網絡最初是由福島核電站在1980年引入的,當時名為Neocognitron。它的靈感來自於Hubel和Weisel提出的神經系統的層次模型。但由於其複雜的無監督學習算法,即無監督學習,該模型並不受歡迎。
  • PyTorch可視化理解卷積神經網絡
    如果你是一個深度學習愛好者,你可能早已聽說過這種神經網絡,並且可能已經使用一些深度學習框架比如caffe、TensorFlow、pytorch實現了一些圖像分類器。然而,這仍然存在一個問題:數據是如何在人工神經網絡傳送以及計算機是如何從中學習的。為了從頭開始獲得清晰的視角,本文將通過對每一層進行可視化以深入理解卷積神經網絡。
  • 理解神經網絡:從神經元到RNN、CNN、深度學習
    並且形成了很多種類,像CNN(卷積神經網絡),RNN,自編碼,深度學習等等。神經網絡對於數據科學和或者機器學習從業者,就像線性回歸對於統計學家一樣。因此,對神經網絡是什麼有一個基本的理解是有必要的,比如,它是怎麼構成的,它能處理問題的範圍以及它的局限性是什麼。這篇文章嘗試去介紹神經網絡,從一個最基礎的構件,即一個神經元,深入到它的各種流行的種類,像CNN,RNN等。
  • 卷積網絡訓練太慢?Yann LeCun:已解決CIFAR-10,目標 ImageNet
    《肖像中目標定位的原始手段》,1993年今天,看到這麼多前途光明的年輕人在這個主題上如此積極投入並提出這麼多新想法和新應用,真是讓人驚喜不已。硬體/軟體基礎架構越來越好,在幾個小時或者幾天裡進行大型網絡的訓練逐漸變為可能,因此人們可以進行更多想法的嘗試。我十分感興趣的一個idea是「光譜卷積網絡」。
  • 理解卷積神經網絡中的輸入與輸出形狀(Keras實現)
    即使我們從理論上理解了卷積神經網絡,在實際進行將數據擬合到網絡時,很多人仍然對其網絡的輸入和輸出形狀(shape)感到困惑。本文章將幫助你理解卷積神經網絡的輸入和輸出形狀。讓我們看看一個例子。CNN的輸入數據如下圖所示。
  • 一文了解各種卷積結構原理及優劣
    反卷積(deconvolutions)這種叫法是不合適的,因為它不符合反卷積的概念。在深度學習中,反卷積確實存在,但是並不常用。實際上,反卷積是卷積操作的逆過程。你可以這麼理解這個過程,將某個圖像輸入到單個卷積層,取卷積層的輸出傳遞到一個黑盒子中,這個黑盒子輸出了原始圖像。那麼可以說,這個黑盒子完成了一個反卷積操作,也就是卷積操作的數學逆過程。
  • 深度學習技術和卷積神經網絡(CNN)讓機器視覺識別更智能
    隨著人工智慧技術的進步,深度學習技術(DL)和卷積神經網絡技術(CNN)領域的人工智慧(AI)被引入到機器視覺圖像處理系統的應用中來,從而幫助機器學習和機器檢測缺陷更加高效,使機器視覺識別的過程更加精確。也讓使用這些技術的企業可以從智能化中獲得更高的生產經營效益。
  • 主流的深度學習模型有哪些?
    作者:阿薩姆 | 普華永道 數據科學家量子位 已獲授權編輯發布轉載請聯繫原作者深度學習大熱以後各種模型層出不窮,很多朋友都在問到底什麼是DNN、CNN和RNN,這麼多個網絡到底有什麼不同,作用各是什麼?趁著回答《深度學習的主要分類是什麼呀?這些網絡cnn dbn dnm rnn是怎樣的關係?》
  • 乾貨貼|CNN中常用的四種卷積
    卷積是深度學習中最重要的概念之一。深度學習超越了其他機器學習手段的核心就在於卷積和卷積神經網絡。這就很有必要了解常見的卷積: 一般卷積、 擴張卷積、轉置卷積、可分離卷積。
  • AI入門:卷積神經網絡
    講到AI不得不講深度學習,而講到深度學習,又不能不講卷積神經網絡。如果把深度學習比作中國的網際網路界,那捲積神經網絡和循環神經網絡就是騰訊和阿里級別的地位。今天我們主要討論的卷積神經網絡,到底卷積神經網絡能解決什麼問題,它的結構是怎樣的?是怎麼學習的?應用在哪些具體的產品上?本文將為大家一一解答。
  • 入門| 獻給新手的深度學習綜述
    當我們說深度神經網絡時,我們可以假設有相當多的隱藏層,可以用來從輸入中提取特徵和計算複雜的函數。Bengio(2009) 解釋了深度結構的神經網絡,如卷積神經網絡 (CNN)、自編碼器 (AE) 等及其變體。Deng 和 Yu(2014) 詳細介紹了一些神經網絡架構,如 AE 及其變體。Goodfellow 等 (2016) 對深度前饋網絡、卷積網絡、遞歸網絡及其改進進行了介紹和技巧性講解。
  • 超實用總結:AI實踐者需要用到的10個深度學習方法
    在計算能力爆炸式增長的十年中,作為神經網絡領域的一個重要角色,深度學習出現了,贏得了許多重要的機器學習競賽。2017年,深度學習的熱度仍然不減。今天,在機器學習的出現的地方都可以看到深度學習的身影。  最近,我已經開始閱讀關於深度學習的學術論文。