淺析人工智慧的卷積神經網絡與圖像處理

2021-01-08 電子發燒友
淺析人工智慧的卷積神經網絡與圖像處理

demi 發表於 2019-11-02 11:23:43

在人工智慧深度學習技術中，有一個很重要的概念就是卷積神經網絡 CNN（Convolutional Neural Networks）。

卷積神經網絡被廣泛地運用到計算機視覺中，用於提取圖像數據的特徵，其中發揮關鍵作用的步驟就是卷積層中的卷積運算。

卷積到底是什麼？深度學習中的卷積運算與傳統的信號與系統中的卷積算子有什麼不同？為什麼卷積運算可以提取圖像的特徵呢？下3分鐘帶你讀懂卷積運算與圖像處理。

了解卷積運算

卷積神經網絡中的核心即為 卷積運算，其相當於圖像處理中的 濾波器運算。對於一個 m×n大小的卷積核：

卷積一詞最開始出現在信號與系統中，是指兩個原函數產生一個新的函數的一種算子。

卷積運算在運算過程可以概括為翻轉、平移再加權求和三個步驟，其中的加權求和就是乘加操作。

另外，卷積運算還有一個重要的特性：空間域卷積=頻域乘積，這一點可以解釋為什麼卷積運算可以自動地提取圖像的特徵。

在卷積神經網絡中，對數字圖像做卷積操作其實就是利用卷積核（黃底部分）在圖像（綠底部分）上滑動，將圖像上的像素灰度值與對應卷積核上的數值相乘，然後將所有相乘後的值相加作為此時的輸出值（紅底部分），並最終滑動遍歷完整副圖像的過程。

動圖來源於stanford.edu, Feature extraction using convolution

仔細觀察上述動圖，圖像中的卷積操作相比於信號與系統中的卷積少了點什麼？

我們可以看到，圖像中卷積的計算過程只有平移和乘加兩個步驟，相對於信號與系統的卷積算子缺少了翻轉。

那麼，圖像的卷積操作是否需要進行翻轉呢？

事實上，深度學習中卷積核是無需進行翻轉的，因為卷積核中的所有權重都是隨機初始化，開始不是確定的。網絡每次更新迭代都是為了尋找一個最合適的卷積核權重值，所以是否翻轉也就無關緊要了。除此之外，圖像處理中的卷積核一般是對稱的，翻轉也就顯得不那麼必要。

卷積神經網絡被廣泛運用到計算機視覺的最大一個原因，就是卷積層可以自動地提取圖像特徵。

提取圖像特徵

圖像中的特徵通常指代圖像中物體的輪廓與紋理信息，而通常物體的細節（可以簡單地理解為圖像中像素點灰度值變換緩慢的地方）帶來的信息量較少。我們通常所說的圖像特徵提取的過程是在保留圖像輪廓和紋理的同時，去掉冗餘信息的過程。

物體輪廓

物體紋理，圖片來源The Berkeley Segmentation Dataset and Benchmark

那麼如何區分圖像的特徵與圖像的冗餘信息量呢？

如下面這幅人物圖像，如果我們不對原始圖像做處理，很難將圖像的特徵與冗餘信息量區分開來。

我們可以換一個角度，不從時空區域來區分，而是抓住圖像細節和圖像輪廓紋理的頻率不一樣這一特徵，把一副圖像放在頻域中以區分圖像的細節與圖像的輪廓紋理。

我們將這幅人物圖像（左）轉換到頻域中的該圖像（右），離中心點越近的分量頻率越低，離中心點越遠的分量頻率越高。

原圖

頻域圖像，圖片來源CMU, Computational Photography, Fall 2019

現在我們將用一個模板來分離高低頻分量。

如左圖所示的模板1中，其數值取值範圍為0到1。模板中的點越黑其數值越接近於0，越白越接近於1.

將模板1與頻域圖像相乘後，就可以只保留高頻部分去除離中心點較近的低頻分量，再將圖像轉換回到空間域中，可以看到圖像的高頻分量（右）是輪廓和紋理特徵。

模板1

高頻分量，圖片來源：CMU, Computational Photography, Fall 2019

同樣的操作方式，將模板2與頻域圖像相乘，頻域圖中的低頻分量可以被選取出來，再將低頻分量轉到空間域中，可以看到低頻分量代表著細節特徵。這時我們就可以成功地將圖像的輪廓紋理細節信息從頻率的角度分開來了。

模板2

低頻分量，圖片來源CMU, Computational Photography, Fall 2019

以上處理過程，實際就是在頻域中將模板與頻域圖像相乘，以區分圖像輪廓紋理與細節信息的過程。

而頻域相乘就等於空間域卷積，這是剛才提及到的卷積的重要特性。那麼上述在頻域中的操作等同於空間中的圖像與空間域中的模板做卷積，這樣從頻域的角度，就可以解釋卷積操作能夠提取圖像特徵的原因。

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 華為開發者學院|卷積神經網絡與圖像處理,聽這一節課就夠了
    人工智慧作為當前最熱門的技術之一，越來越多的人加入人工智慧的大家庭，根據應用領域的不同，人工智慧研究的技術也不盡相同。華為開發者學院特邀國內首本TensorFlow知名書籍作者鄭澤宇老師，帶您了解卷積神經網絡基本原理和基本的卷積神經網絡結構，介紹圖像分類和圖像識別的核心思路和基本算法，在直播間中，您可將當前在學習中遇到的難點和困惑與大咖講師鄭澤宇交流，通過大咖的解讀，帶給你學習的方法與捷徑。
  • 應用豐富的「卷積神經網絡」技術,怎樣實現了圖像識別?
    本文將使用卷積神經網絡來介紹「圖像識別」的概念、應用和技術方法。什麼是「圖像識別」？它的作用是什麼？從「機器視覺」的角度來說，「圖像識別」就是軟體識別圖像中出現的人物、地理位置、物體、動作和文字的能力。計算機可以使用「機器視覺技術」，並結合人工智慧軟體和一個攝像頭，完成圖像識別。
  • 深度學習入門:淺析卷積神經網絡
    深度學習是近十年來人工智慧領域取得的重要突破。它在語音識別、自然語言處理、計算機視覺、圖像與視頻分析、多媒體等諸多領域的應用取得了巨大成功。圖像分類是從固定的一組分類中分配輸入圖像一個標籤的任務，在本案例中，我們將以Fashion-MNIST圖像數據集為例，了解並使用不同的神經網絡模型來對其進行分類，並比較不同網絡的預測效果。本案例的學習分為三個部分，首先是目標問題的數據集介紹，了解數據背景是解決問題的重要前提；接著，我們會介紹基本的邏輯回歸模型，在此基礎上引入本案例的核心——卷積神經網絡。
  • 反思卷積神經網絡：圖像角度泛化上的困難重重
    毫無疑問，卷積神經網絡在圖像處理及周邊領域的開發進程和研究突破中發揮著重要作用。 但是，這不代表卷積神經網絡表現完美。 研究人員經常會遇到一個問題：他們往往由於過於追求理論和完美數據集而深陷其中。然而事與願違，要求數據準確度到小數點後幾位其實往往與現實情況中圖像處理的實際用處恰恰相反。
  • 圖像識別技術——卷積神經網絡CNN詳解
    前言卷積神經網絡不同於神經網絡，在圖片處理這方面有更好的表現。本文主要對神經網絡和卷積神經網絡做了簡要的對比，著重介紹了卷積神經網絡的層次基礎，同時也簡要介紹了卷積神經網絡參數更新方式和其優缺點，並結合具體實例對卷積神經網絡的工作方式做了介紹。
  • 卷積神經網絡在圖像領域中的發展及存在問題
    最近的幾年裡，深度學習在機器學習領域得到了飛速的發展，相關的理論成果和實踐成果也層出不窮，其主要的貢獻是在自然語言處理、圖像分類任務、聲音識別等領域上。自1974年Paul Werbos等人提出反向傳播算法（BP算法），解決了由淺層的神經網絡模型應用到深層的神經網絡模型中線性不可分的問題。
  • 卷積神經網絡的卷積到底是什麼
    打開APP 卷積神經網絡的卷積到底是什麼 人工智慧遇見磐創 發表於 2020-05-05 08:40:00 卷積神經網絡是一種特殊的神經網絡結構，是自動駕駛汽車、人臉識別系統等計算機視覺應用的基礎，其中基本的矩陣乘法運算被卷積運算取代。
  • 一種基於人工智慧的腦圖像處理方法
    打開APP 一種基於人工智慧的腦圖像處理方法 MedPeer 發表於 2019-10-22 16:41:57 （文章來源：MedPeer
  • 卷積神經網絡算法結構分析及其工作效率的影響因素
    2012年可謂人工智慧圖像識別發展的一個重要裡程碑。之前人們為追求圖像識別算法的準確性做出了不懈的努力，但是其錯誤率卻一直居高不下，保持在26%左右，這一水平導致圖像識別技術無法有效走出實驗室。2012年Krizhevsky等提出的卷積神經網絡卷積神經網絡算法結構分析。就目前算法的發展狀況而言，卷及神經網絡作為當前在圖像識別領域的主流算法，被諸多工作團隊所廣泛接受，而對於圖像識別的研究重點，也從尋找更為優秀的算法，轉移到了對卷積神經網絡算法本身的優化上，並且在應用領域，也在近年取得了長足進展。
  • 基於卷積神經網絡的目標檢測算法簡介
    什麼是卷積神經網絡？卷積神經網絡是一個層次模型，主要包括輸入層，卷積層，池化層、全連接層以及輸出層。卷積神經網絡是專門針對圖像而設計，主要特點在於卷積層的特徵是由前一層的局部特徵通過卷積共享的權重得到。
  • 人工智慧之卷積神經網絡(CNN)
    前言：人工智慧機器學習有關算法內容，請參見公眾號「科技優化生活」之前相關文章。人工智慧之機器學習主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點探討一下卷積神經網絡(CNN)算法。Neural Network)是一種前饋神經網絡，它的人工神經元可以響應一部分覆蓋範圍內的周圍單元，可以應用於語音識別、圖像處理和圖像識別等領域。
  • Nature Communications：人工智慧地震信息挖掘——基於高效分類多尺度濾波卷積神經網絡的自動化設計
    耿智等-NC：人工智慧地震信息挖掘——基於高效分類多尺度濾波卷積神經網絡的自動化設計人工神經網絡(ANN)在數據驅動的自然和信息科學研究領域(例如圖像圖形學在勘探地球物理學中，許多此類研究都可以視為可視化圖像分類或分割問題。例如，地質學家使用地震反射數據圖像對地下沉積單元或油氣藏進行分類，並識別斷層、裂縫或鹽體等不連續地質結構。人工神經網絡可以正確學習此類圖像中的所有形態模式，其中許多是基於現行的卷積神經網絡(CNN)，而CNN是專門針對計算機視覺中與圖像相關的任務而設計的。與視覺圖像相比，地震反射信號具有本質上的不同：稀疏信號極性變化及有限帶寬。
  • 解析卷積神經網絡的應用
    只有當使用圖像數據集對計算機進行訓練後，其方可識別對象 不過，情況正發生變化。近年來，一個稱之為「深度學習」的領域大幅提升了計算機理解所見事物的能力。深度學習，尤其是卷積神經網絡的使用，並沒有依賴傳統的圖像處理技術，而是賦予計算機理解世界的能力，且這方面已取得重大進展。
  • 卷積神經網絡理解(一):濾波器的意義
    卷積神經網絡的發展二. 卷積神經網絡的重要性三. 卷積神經網絡與圖像識別四.並讓卷積神經網絡在如今計算機視覺領域中佔據著很重要的一部分。在卷積神經網絡中，層與層之間不再是全連接，而是局部連接，具體的實現方法，就是我們在下一節中會介紹的卷積操作。卷積神經網絡屬於局部連接網絡，是基於深刻研究自然圖像而提出來的。自然圖像存在局部區域穩定的屬性，其某一局部區域的統計特徵相對於圖像其他相鄰局部區域具有相似性。
  • MSRA視頻理解新突破,實現199層三維卷積神經網絡
    然而目前視頻識別的相關研究多數使用的是基於圖像的卷積神經網絡（如微軟研究院在 2015 提出的殘差神經網絡 ResNet）來學習視頻特徵，這種方法僅僅是對單幀圖像的 CNN 特徵進行融合，因此往往忽略了相鄰的連續視頻幀間的聯繫以及視頻中的動作信息。目前，視頻專用的深度神經網絡還很缺乏。
  • 「範例卷積神經網絡」和信息最大化
    這一方法也能被理解為「卷積神經網絡範例」。我們在案例中只使用了一個數量適中的訓練圖像集，「範例卷積神經網絡」恰恰利用了這一點，把數據分布表示為一個經驗分布（離散有限可能性的分布）。假設我們離散了分布，使之變得不連續，那麼「範例卷積神經網絡」就能夠被推導成為「種子圖像」和其表徵之間的互信息的一個下界。
  • 你不了解的卷積神經網絡:新一代圖像視頻壓縮技術
    在圖片、視頻壓縮領域，使用最多的深度學習技術就是卷積神經網絡（CNN），下面會就卷積神經網絡進行簡單介紹。如圖 3 所顯示，像搭積木一樣，一個卷積神經網絡由卷積、池化、非線性函數、歸一化層等模塊組成。最終的輸出根據應用而定，如在人臉識別領域，我們可以用它來提取一串數字（專業術語稱為特徵）來表示一幅人臉圖片。然後通過比較特徵的異同進行人臉識別。
  • 卷積神經網絡(CNN)新手指南
    然而最經典的，或者說最流行的神經網絡使用範例是將其用於圖像處理領域。提到圖像處理，本文主要介紹的是如何使用卷積神經網絡來進行圖像分類。在我們介紹反向傳播之前，我們必須先回顧下談談神經網絡運行所需要的是什麼。在我們出生的那一刻，我們的思想是全新的，我們不知道什麼是貓，什麼是鳥。類似地，在卷積神經網絡開始之前，權重或過濾器的值是隨機的，過濾器並不知道去尋找邊緣和曲線，在更高階的層過濾器不知道去尋找爪子和喙。然而當我們稍微大了一點之後，我們的父母和老師給我們展示了不同的圖片和圖像，並給了我們一個相應的標籤。
  • 使用卷積神經網絡,構建圖像分類模型檢測肺炎
    來源 | DeepHub IMBA作者 | Eunjoo Byeon在本篇文章中，我將概述如何使用卷積神經網絡構建可靠的圖像分類模型，以便從胸部x光圖像中檢測肺炎的存在。肺炎是一種常見的感染，它使肺部的氣囊發炎，引起呼吸困難和發燒等症狀。
  • 一文讀懂卷積神經網絡工作原理
    卷積神經網絡（Convolutional Neural Network, CNN）是人工神經網絡的一種，是當下語音分析和圖像識別領域的研究熱點。這篇文章用最簡明的語言和最直觀的圖像，帶你入門CNN。準備好了嗎？