卷積的本質、物理意義及其在具體學科中的應用

2021-02-23 聲振之家


來源:本文經授權轉載自CSDN網彼岸花的博客,轉載請聯繫原作者。

本文對卷積的理解分為三部分講解:信號的角度、數學家的理解(外行)、與多項式的關係。

卷積其實就是為衝擊函數誕生的。「衝擊函數」是狄拉克為了解決一些瞬間作用的物理現象而提出的符號。古人曰:「說一堆大道理不如舉一個好例子」,衝量這一物理現象很能說明「衝擊函數」。在t時間內對一物體作用F的力,倘若作用時間t很小,作用力F很大,但讓Ft的乘積不變,即衝量不變。於是在用t做橫坐標、F做縱坐標的坐標系中,就如同一個面積不變的長方形,底邊被擠的窄窄的,高度被擠的高高的,在數學中它可以被擠到無限高,但即使它無限瘦、無限高、但它仍然保持面積不變(它沒有被擠沒),為了證實它的存在,可以對它進行積分,積分就是求面積嘛!於是「卷積」這個數學怪物就這樣誕生了。

 

卷積是「信號與系統」中論述系統對輸入信號的響應而提出的。

信號處理是將一個信號空間映射到另外一個信號空間,通常就是時域到頻域,(還有z域,s域),信號的能量就是函數的範數(信號與函數等同的概念),大家都知道有個Paserval定理就是說映射前後範數不變,在數學中就叫保範映射,實際上信號處理中的變換基本都是保範映射,只要Paserval定理成立就是保範映射(就是能量不變的映射)。

信號處理中如何出現卷積的。假設B是一個系統,其t時刻的輸入為x(t),輸出為y(t),系統的響應函數為h(t),按理說,輸出與輸入的關係應該為:

然而,實際的情況是,系統的輸出不僅與系統在t時刻的響應有關,還與它在t時刻之前的響應有關。不過系統有個衰減過程,所以t1(<t)時刻的輸入對輸出的影響通常可以表示為x(t)h(t-t1),這個過程可能是離散的,也可能是連續的,所以t時刻的輸出應該為,t時刻之前系統響應函數在各個時刻響應的疊加,這就是卷積,用數學公式表示就是

離散情況下就是級數了。

卷積是一種積分運算,它可以用來描述線性時不變系統的輸入和輸出的關係,即輸出可以通過輸入和一個表徵系統特性的函數(衝激響應函數)進行卷積運算得到。

先把函數x(k)相對於原點反折,然後向右移動距離t,然後兩個函數相乘再積分,就得到了在t處的輸出。對每個t值重複上述過程,就得到了輸出曲線。

先將g(u,v)繞其原點旋轉180度,然後平移其原點,u軸上像上平移x,v軸上像上平移y。然後兩個函數相乘積分,得到一個點處的輸出。

有一個七品縣令,喜歡用打板子來懲戒那些市井無賴,而且有個慣例:如果沒犯大罪,只打一板,釋放回家,以示愛民如子。

一個無賴,想出人頭地卻沒啥指望,心想:既然揚不了善名,出惡名也成啊。怎麼出惡名?炒作唄!怎麼炒作?找名人呀!他自然想到了他的行政長官——縣令。

無賴於是光天化日之下,站在縣衙門前撒了一泡尿,後果是可想而知地,自然被請進大堂挨了一板子,然後昂首挺胸回家,躺了一天,嘿!身上啥事也沒有!第二天如法炮製,全然不顧行政長管的仁慈和衙門的體面,第三天、第四天.每天去縣衙門領一個板子回來,還喜氣洋洋地,堅持一個月之久!這無賴的名氣已經和衙門口的臭氣一樣,傳遍八方了!

縣令大人噤著鼻子,呆呆地盯著案子上的驚堂木,擰著眉頭思考一個問題:這三十個大板子怎麼不好使捏?.想當初,本老爺金榜題名時,數學可是得了滿分,今天好歹要解決這個問題:

人(系統)挨板子(脈衝)以後,會有什麼表現(輸出)?

費話,疼唄!

我問的是:會有什麼表現?

看疼到啥程度。像這無賴的體格,每天挨一個板子啥事都不會有,連哼一下都不可能,你也看到他那得意洋洋的嘴臉了(輸出0)。如果一次連揍他十個板子,他可能會皺皺眉頭,咬咬牙,硬挺著不哼(輸出1);揍到二十個板子,他會疼得臉部扭曲,象豬似地哼哼(輸出3);揍到三十個板子,他可能會象驢似地嚎叫,一把鼻涕一把淚地求你饒他一命(輸出5);揍到四十個板子,他會大小便失禁,勉強哼出聲來(輸出1);揍到五十個板子,他連哼一下都不可能(輸出0)——死啦!

縣令鋪開坐標紙,以打板子的個數作為X軸,以哼哼的程度(輸出)為Y軸,繪製了一條曲線:

嗚呼呀!這曲線像一座高山,弄不懂。為啥那個無賴連挨了三十天大板卻不喊繞命呀?

呵呵,你打一次的時間間隔(Δτ=24小時)太長了,所以那個無賴承受的痛苦程度一天一利索,沒有疊加,始終是一個常數;如果縮短打板子的時間間隔(建議Δτ=0.5秒),那他的痛苦程度可就迅速疊加了;等到這無賴挨三十個大板(t=30)時,痛苦程度達到了他能喊叫的極限,會收到最好的懲戒效果,再多打就顯示不出您的仁慈了。

還是不太明白,時間間隔小,為什麼痛苦程度會疊加呢?

這與人(線性時不變系統)對板子(脈衝、輸入、激勵)的響應有關。什麼是響應?人挨一個板子後,疼痛的感覺會在一天(假設的,因人而異)內慢慢消失(衰減),而不可能突然消失。這樣一來,只要打板子的時間間隔很小,每一個板子引起的疼痛都來不及完全衰減,都會對最終的痛苦程度有不同的貢獻:

t個大板子造成的痛苦程度=Σ(第τ個大板子引起的痛苦*衰減係數)

衰減係數是(t-τ)的函數,仔細品味。數學表達為:

拿人的痛苦來說卷積的事,太殘忍了。除了人以外,其他事物也符合這條規律嗎?

呵呵,縣令大人畢竟仁慈。其實除人之外,很多事情也遵循此道。好好想一想,鐵絲為什麼彎曲一次不折,快速彎曲多次卻會輕易折掉呢?

恩,一時還弄不清,容本官慢慢想來——但有一點是明確地——來人啊,將撒尿的那個無賴抓來,狠打40大板!

也可以這樣理解:T(τ)即第τ個板子,H(t-τ)就是第τ個板子引起的痛苦到t時刻的痛苦程度,所有板子加起來就是∫T(τ)H(t-τ)

用一個模板和一幅圖像進行卷積,對於圖像上的一個點,讓模板的原點和該點重合,然後模板上的點和圖像上對應的點相乘,然後各點的積相加,就得到了該點的卷積值。對圖像上的每個點都這樣處理。由於大多數模板都是對稱的,所以模板不旋轉。卷積是一種積分運算,用來求兩個曲線重疊區域面積。可以看作加權求和,可以用來消除噪聲、特徵增強。

把一個點的像素值用它周圍的點的像素值的加權平均代替。

卷積是一種線性運算,圖像處理中常見的mask運算都是卷積,廣泛應用於圖像濾波。卷積在數據處理中用來平滑,卷積有平滑效應和展寬效應。

卷積法的原理是根據線性定常電路的性質(齊次性、疊加性、時不變性、積分性等),藉助電路的單位衝激響應h(t),求解系統響應的工具,系統的激勵一般都可以表示為衝擊函數和激勵的函數的卷積,而卷積為高等數學中的積分概念,概念中衝擊函數的幅度是由每個矩形微元的面積決定的。

卷積關係最重要的一種情況,就是在信號與線性系統或數位訊號處理中的卷積定理。利用該定理,可以將時間域或空間域中的卷積運算等價為頻率域的相乘運算,從而利用FFT等快速算法,實現有效的計算,節省運算代價。

卷積是求和(積分)。對於線性時不變的系統,輸入可以分解成很多強度不同的衝激的和的形式(對於時域就是積分),那麼輸出也就是這些衝激分別作用到系統產生的響應的和(或者積分)。所以卷積的物理意義就是表達了時域中輸入、系統衝激響應以及輸出之間的關係。

信號角度:卷積代表了線性系統對輸入信號的響應方式,其輸出就等於系統衝擊函數和信號輸入的卷積,只有符合疊加原理的系統,才有系統衝擊函數的概念,從而卷積成為系統對輸入在數學上運算的必然形式,衝擊函數實際上是該問題的格林函數解。點激勵源作為強加激勵,求解某個線性問題的解,得到的格林函數即是系統衝擊響應。所以在線性系統中,系統衝擊響應與卷積存在著必然的聯繫。

數學上來說卷積就是定義兩個函數的一種乘法,或者是一種反映兩個序列或函數之間的運算方法。對離散序列來說就是兩個多項式的乘法。物理意義就是衝激響應的線性疊加,所謂衝激響應可以看作是一個函數,另一個函數按衝激信號正交展開。現實中,卷積代表的是將一種信號搬移到另一頻率中,比如調製,這是頻率卷。

在物理中,卷積可代表某種系統對某個物理量或輸入的調製或汙染。現實中,卷積代表的是將一種信號搬移到另一頻率中,比如調製,這是頻率卷。

卷積我覺得就象一把銼刀,它主要是把一些非光滑的函數或算子光滑化。

信號處理的任務就是尋找和信號集合對應的一個集合,然後在另外一個集合中分析信號,Fourier變換就是一種,它建立了時域中每個信號函數與頻域中的每個頻譜函數的一一對應關係,這是元素之間的對應。那麼運算之間的對應呢,在時域的加法對應頻域中的加法,這就是FT線性性的體現。那麼時域的乘法對應什麼呢?最後得到的那個表達式我們就把它叫卷積,就是對應的頻域的卷積。

簡單來說,卷積是一種重疊關係,也就是說,所得到的結果反映了兩個卷積函數的重疊部分。所以,用一個已知頻段的函數卷積另一個頻段很寬的函數,也就是對後者進行了濾波,後者跟前者重疊的頻段才能很好地通過這個filter。

信號處理中的一個重要運算是卷積。初學卷積的時候,往往是在連續的情形,兩個函數f(x),g(x)的卷積,是∫f(u)g(x-u)du。當然,證明卷積的一些性質並不困難,比如交換,結合等等,但是對於卷積運算的來處,初學者就不甚了了。

其實,從離散的情形看卷積,或許更加清楚,對於兩個序列f[n]、g[n],一般可以將其卷積定義為s[x]= ∑f[k]g[x-k]。

卷積的一個典型例子,其實就是初中就學過的多項式相乘的運算。比如(x*x+3*x+2)(2*x+5)一般計算順序如下:

然後合併同類項的係數,

實際上,從線性代數可以知道,多項式構成一個向量空間,其基底可選為{1,x,x*x,x*x*x,...}。如此,則任何多項式均可與無窮維空間中的一個坐標向量相對應,如(x*x+3*x+2)對應於(1,3,2),(2*x+5)對應於(2,5)。線性空間中沒有定義兩個向量間的卷積運算,而只有加法、數乘兩種運算。而實際上,多項式的乘法,就無法在線性空間中說明,可見線性空間的理論多麼局限了。但如果按照我們上面對向量卷積的定義來處理坐標向量(1,3,2)*(2,5)則有(1,3,2)*(2,5)=(2,11,19,10)。

回到多項式的表示上來(x*x+3*x+2)(2*x+5)=2*x*x*x+11*x*x+19*x+10,結果跟我們用傳統辦法得到的是完全一樣的。換句話,多項式相乘相當於係數向量的卷積。其實道理也很簡單,卷積運算實際上是分別求x*x*x ,x*x,x,1的係數,也就是說,他把加法和求和雜合在一起做了。(傳統的辦法是先做乘法,然後在合併同類項的時候才作加法)以x*x的係數為例,得到x*x,或者是用x*x乘5,或者是用3x乘2x,也就是:

其實,這正是向量的內積。如此則卷積運算可以看作是一串內積運算。既然是一串內積運算,則我們可以試圖用矩陣表示上述過程。

採用行的觀點看Ax,則b的每行都是一個內積。A的每一行都是序列[2,3,1]的一個移動位置。顯然,在這個特定的背景下,我們知道卷積滿足交換,結合等定律,因為,眾所周知的多項式的乘法滿足交換律結合律。在一般情形下,其實也成立。

在這裡,我們發現多項式除了構成特定的線性空間外,基與基之間還存在某種特殊的聯繫,正是這種聯繫給予多項式空間以特殊的性質。

在學向量的時候,一般都會舉這個例子。甲有三個蘋果,5個橘子,乙有5個蘋果,三個橘子,則共有幾個蘋果,橘子。老師反覆告誡,橘子就是橘子,蘋果就是蘋果,可不能混在一起。所以有(3,5)+(5,3)=(8,8)。是的,橘子和蘋果無論怎麼加,都不會出什麼問題的,但是,如果考慮橘子乘橘子,或者橘子乘蘋果,這問題就不大容易說清了。

又如複數。如果僅僅定義複數為數對(a,b)。僅僅在線性空間的層面看待C2,那就未免太簡單了。實際上,只要加上一條(a,b)*(c,d)=(ac-bd,ad+bc)。則情況馬上改觀,複變函數的內容多麼豐富多彩,是眾所周知的。另外,回想信號處理裡面的一條基本定理,頻率域的乘積相當於時域或空域信號的卷積,恰好和這裡的情形完全對等。這後面存在什麼樣的隱態聯繫需要繼續參詳。

從這裡看,高等的卷積運算其實不過是一種初等的運算的抽象而已。中學學過的數學裡面,其實還蘊涵著許多高深的內容(比如交換代數)。溫故而知新,斯言不謬。其實這道理一點也不複雜,人類繁衍了多少萬年了,但過去n多年,人們只知道男女媾精,乃能繁衍後代。精子,卵子的發現,生殖機制的研究,也就是最近多少年的事情。

孔子說,道在人倫日用中,看來我們應該多用審視的眼光看待周圍,乃至自身,才能知其然,而知其所以然。

參考:

http://hi.baidu.com/a__g/blog/item/10873722cab331ac4723e8f7.html

http://blog.chinaunix.net/u2/76475/showart_1682636.html

聲明:本微信轉載文章出於非商業性的教育和科研目的,並不意味著支持其觀點或證實其內容的真實性。版權歸原作者所有,如轉載稿涉及版權等問題,請立即聯繫我們,我們會予以更改或刪除相關文章,保證您的權利!

相關焦點

  • 卷積的本質及物理意義
    因為是對模擬信號論述的,所以常常帶有繁瑣的算術推倒,很簡單的問題的本質常常就被一大堆公式淹沒了,那麼卷積究竟物理意義怎麼樣呢?卷積在數據處理中用來平滑,卷積有平滑效應和展寬效應.談起卷積分當然要先說說衝擊函數----這個倒立的小蝌蚪,卷積其實就是為它誕生的。「衝擊函數」是狄拉克為了解決一些瞬間作用的物理現象而提出的符號。古 人曰:「說一堆大道理不如舉一個好例子」,衝量這一物理現象很能說明「衝擊函數」。
  • 卷積的本質及物理意義,解釋的真幽默!
    因為是對模擬信號論述的,所以常常帶有繁瑣的算術推倒,很簡單的問題的本質常常就被一大堆公式淹沒了,那麼卷積究竟物理意義怎麼樣呢?卷積表示為y(n) = x(n)*h(n)使用離散數列來理解卷積會更形象一點,我們把y(n)的序列表示成y(0),y(1),y(2) and so on; 這是系統響應出來的信號。
  • 卷積的定義和物理意義
    卷積(Convolution)是分析數學中一個重要的運算,很多具體實際應用中會用到這個概念
  • 再講卷積的本質及物理意義,解釋的真幽默!
    因為是對模擬信號論述的,所以常常帶有繁瑣的算術推倒,很簡單的問題的本質常常就被一大堆公式淹沒了,那麼卷積究竟物理意義怎麼樣呢?卷積表示為y(n) = x(n)*h(n)使用離散數列來理解卷積會更形象一點,我們把y(n)的序列表示成y(0),y(1),y(2) and so on; 這是系統響應出來的信號。
  • 卷積的物理意義
    因為是對模擬信號論述的,所以常常帶有繁瑣的算術推倒,很簡單的問題的本質常常就被一大堆公式淹沒了,那麼卷積究竟物理意義怎麼樣呢?卷積表示為y(n) = x(n)*h(n)使用離散數列來理解卷積會更形象一點,我們把y(n)的序列表示成y(0),y(1),y(2) and so on; 這是系統響應出來的信號。
  • CNN卷積方法一覽
    常規卷積3D卷積轉置卷積1x1卷積深度可分離卷積空洞卷積卷積的本質     在具體介紹各種卷積之前,我們有必要再來回顧一下卷積的真實含義,從數學和圖像處理應用的意義上來看一下卷積到底是什麼操作。目前大多數深度學習教程很少對卷積的含義進行細述,大部分只是對圖像的卷積操作進行了闡述。以至於卷積的數學意義和物理意義很多人並不是很清楚,究竟為什麼要這樣設計,這麼設計的原因如何。     追本溯源,我們先回到數學教科書中來看卷積。在泛函分析中,卷積也叫旋積或者褶積,是一種通過兩個函數x(t)和h(t)生成的數學算子。
  • 卷積為什麼如此強大?理解深度學習中的卷積
    想像一下裝滿信息的兩個桶,我們把它們倒入一個桶中並且通過某種規則攪拌攪拌。也就是說卷積是一種混合兩種信息的流程。卷積也可以形式化地描述,事實上,它就是一種數學運算,跟減加乘除沒有本質的區別。雖然這種運算本身很複雜,但它非常有助於簡化更複雜的表達式。
  • CNN 卷積方法一覽
    卷積的本質常規卷積3D卷積轉置卷積1x1卷積深度可分離卷積空洞卷積卷積的本質     在具體介紹各種卷積之前,我們有必要再來回顧一下卷積的真實含義,從數學和圖像處理應用的意義上來看一下卷積到底是什麼操作。
  • 新課標解讀:高中物理學科核心素養的內涵及其與三維目標的關係
    高中物理新課標解讀系列物理學是自然科學領域的一門基礎學科,研究自然界物質的基本結構、相互作用和運動規律。物理學基於觀察與實驗,建構物理模型,應用物理等工具,通過科學推理和論證,形成系統的研究方法和理論體系。
  • 如何通俗易懂地解釋卷積?
    教科書上通常會給出定義,給出很多性質,也會用實例和圖形進行解釋,但究竟為什麼要這麼設計,這麼計算,背後的意義是什麼,往往語焉不詳。作為一個學物理出身的人,一個公式倘若倘若給不出結合實際的直觀的通俗的解釋(也就是背後的「物理」意義),就覺得少了點什麼,覺得不是真的懂了。
  • 初中物理:「透鏡及其應用」單元課程設計
    一、單元設計理念透鏡及其應用先講述了透鏡的基礎知識及其對光的作用,然後引導學生初步觀察凸透鏡成像的情況,使學生對透鏡及其成像的有關基本概念在頭腦中獲得具體、生動的感性認識,以此為基礎,讓學生帶著問題,用探究的方法深入研究凸透鏡成像的規律。
  • 卷積有多少種?一文讀懂深度學習中的各種卷積
    研究學者 Kunlun Bai 近日發布一篇介紹深度學習的卷積文章,用淺顯易懂的方式介紹了深度學習領域的各種卷積及其優勢。鑑於原文過長,機器之心選擇其中部分內容進行介紹,2、4、5、9、11、12 節請參閱原文。
  • 深度| 理解深度學習中的卷積
    卷積也可以形式化地描述,事實上,它就是一種數學運算,跟減加乘除沒有本質的區別。雖然這種運算本身很複雜,但它非常有助於簡化更複雜的表達式。在物理和工程上,卷積被廣泛地用於化簡等式——等會兒簡單地形式化描述卷積之後——我們將把這些領域的思想和深度學習聯繫起來,以加深對卷積的理解。但現在我們先從實用的角度理解卷積。
  • 深度卷積神經網絡CNNs的多GPU並行框架 及其在圖像識別的應用
    1.CNNs模型並行導論1.1.典型應用分析:圖像識別 圖像識別是深度卷積神經網絡獲得成功的一個典型應用範例。 圖1揭示了一個具有5個卷積層和3個全連接層的深度卷積神經網絡,該模型可應用於圖像分類。
  • 【CNN】很細的講解什麼以及為什麼是卷積(Convolution)!
    教科書上通常會給出定義,給出很多性質,也會用實例和圖形進行解釋,但究竟為什麼要這麼設計,這麼計算,背後的意義是什麼,往往語焉不詳。作為一個學物理出身的人,一個公式倘若倘若給不出結合實際的直觀的通俗的解釋(也就是背後的「物理」意義),就覺得少了點什麼,覺得不是真的懂了。
  • 物理學科核心素養
    物理教材封面 物理學是自然科學領域的一門基礎學科,研究自然界物質的基本結構、相互作用和運動規律。物理學基於觀察與實驗,建構物理模型,應用數學等工具,通過科學推理和論證,形成系統的研究方法和理論體系。高中物理課程在義務教育的基礎上,幫助學生從物理學的視角認識自然,理解自然,建構關於自然界的物理圖景;引導學生經歷科學探究過程,體會科學研究方法,養成科學思維習慣,增強創新意識和實踐能力;引領學生認識科學的本質以及科學•技術•社會•環境(STSE)的關係,形成科學態度、科學世界觀和正確的價值觀,為做有社會責任感的公民奠定基礎。
  • 【CNN】很詳細的講解什麼以及為什麼是卷積(Convolution)
    教科書上通常會給出定義,給出很多性質,也會用實例和圖形進行解釋,但究竟為什麼要這麼設計,這麼計算,背後的意義是什麼,往往語焉不詳。作為一個學物理出身的人,一個公式倘若倘若給不出結合實際的直觀的通俗的解釋(也就是背後的「物理」意義),就覺得少了點什麼,覺得不是真的懂了。
  • 2020福建中小學新任教師招聘考試中學物理學科考試大綱
    2.考查考生理解與中學物理課程相關的大學物理知識,能夠理論聯繫實際,綜合運用所學知識解決生產、生活和社會發展中的一些物理問題,關注目前物理科學發展中的前沿和熱點問題及其對科學和社會發展的影響和意義。1.中學物理內容《普通高中物理課程標準(2017年版)》中的課程結構(具體內容參見附件:表1和表2)。2.大學物理內容(1) 普通物理中的力學、電磁學、熱學、光學、原子物理學的基礎理論。(2) 普通物理基本實驗。(3) 近代物理基礎知識。這部分內容的要求是對中學物理知識的深化和能力的擴展。
  • 一文讀懂深度學習中的各種卷積
    研究學者 Kunlun Bai 發布了一篇介紹深度學習的卷積文章,用淺顯易懂的方式介紹了深度學習領域的各種卷積及其優勢。如果你聽說過深度學習中不同種類的卷積(比如 2D / 3D / 1x1 /轉置/擴張(Atrous)/空間可分/深度可分/平展/分組/混洗分組卷積),並且搞不清楚它們究竟是什麼意思,那麼這篇文章就是為你寫的,能幫你理解它們實際的工作方式。
  • 探究式學習在物理教學中的應用
    探究式是物理學這一門學科與生俱來的特性。那麼在物理教學中如何運用科學探究的理念、科學探究的方式、方法去貫徹這一特性,使物理在新課程改革中充滿活力呢?本文從物理教學入手,通過對探究式學習的各個方面的分析,以及在物理教學以及物理學習方面的探究和案例分析,看到了探究式學習在物理學中的應用的重要性和必要性。