總結 | 「卷積」其實沒那麼難以理解

點上方藍字計算機視覺聯盟獲取更多乾貨

來源丨https://zhuanlan.zhihu.com/p/41609577一、狄拉克何許人也？保羅·狄拉克（Paul Adrien Maurice Dirac，1902－1984），出生在瑞士，後移居英國，著名理論物理學家。通過幾個場景來認識一下(故事來源於網絡，版權歸原作者所有)。
鏡頭一：
1933年狄拉克獲諾貝爾物理獎（與薛丁格共享）。當時他私下對學術老前輩盧瑟福（也是諾獎得主）說，對於獲諾獎這個事他很苦惱，他不想成為新聞人物，更不想出名，這樣會打斷他平靜的生活，打算拒絕接受這個榮譽。盧瑟福對他說：「如果你這樣做，你會更出名。」於是狄拉克同意領獎。
鏡頭二：
狄拉克在美國威斯康辛大學作報告。期間，有一位聽眾說 ：「您寫在黑板右上方的那個方程我看不懂。」狄拉克聽後一言不發，讓當時的場面相當尷尬。主持人試圖打破僵局，說狄拉克教授剛才那個問題您還沒回答呢。狄拉克喃喃地回應道：「剛才那個不是一個疑問句，那是一個陳述句啊。」
鏡頭三：
位於英國倫敦的威斯敏斯特教堂（Westminster Abbey），是英國國王登基和皇室舉行婚禮的地方。這裡長眠著許多偉大人物，如牛頓、達爾文、狄更斯、邱吉爾、彌爾頓。牛頓墓旁放置有一塊石碑，上面鐫刻著保羅• 狄拉克的名字以及他那優美的方程式。狄拉克最早是從事相對論動力學的研究，1925年海森堡訪問劍橋大學，狄拉克深受影響，把精力轉向量子力學的研究。1928年他把相對論引進了量子力學，建立了相對論形式的薛丁格方程，也就是著名的狄拉克方程。1930年狄拉克出版了他的量子力學著作著作《量子力學原理》，這是物理史上重要的裡程碑，至今仍是量子力學的經典教材。在他的教材裡面，他提出了一個怪異的函數，一般被叫做狄拉克 

clc; clear all; close all;
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
N=10000;                                     % sampling numbers
Tau0=1;                                      % define initial Tau
for i=1:100
    Tau=Tau0/i; 
    TimeRange=linspace(-10*Tau,10*Tau,N);        % display time range
    FreqRange=linspace(-200*pi/i,200*pi/i,N);    % display frequency range
    Half_Tau=Tau/2;                              % -0.5 Tao ==> 0.5 Tao
    RECT=1/Tau*double(abs(TimeRange)<Half_Tau);  % one rectangular pulse
    SINC=sinc(FreqRange*Tau*pi);                 % sinc pulse, Xtra
    
    subplot(2,1,1);
    plot(TimeRange,RECT,'LineWidth',1.5); grid on;
    xlim([-1 1]); ylim([-0.5 120]);
    xlabel('Time'); ylabel('Amplitude');
    title('Made by J Pan')
    
    subplot(2,1,2);
    plot(FreqRange,SINC,'LineWidth',1.5); grid on; 
    xlim([-200*pi/i 200*pi/i])；ylim([-0.5 1.5]); 
    xlabel('Frequency'); ylabel('Amplitude');
    title('Made by J Pan')
    drawnow;   
end
假設這個信號也有愛美之心，以瘦為榮，天天不吃飯，以至於最後瘦成了一道閃電，比如 δ函數包含了所有頻率的分量。這個有啥用呢？用處大了去了，這就是一個天然的最理想的試驗函數啊！只用一個函數就可以把系統的所有頻率分量的響應激發出來，怎麼樣，帶勁不帶勁？換句話說，在輸入為狄拉克δ函數時，系統的衝激響應包含了系統的所有信息，也就是說系統的理想衝擊響應就可以代表系統本身 ——我們用小錘敲一下系統，記錄下來響應，就能夠得到系統的模型了。二、卷積是怎麼個回事？終於回歸正題，卷積說的是什麼？為什麼會在線性系統這麼廣泛的使用？我查閱了大量資料，發現有一個例子說的特別好，引用特別廣泛，以至於都不知道原作者是誰了。接下來我們也用這個例子（版權歸原作者所有）為基礎來延伸和拓展一下。話說有一個七品縣令，喜歡用打板子來懲戒那些市井無賴，而且有個慣例：如果沒犯大罪，只打一板，釋放回家，以示愛民如子。
有一個無賴，想出人頭地卻沒啥指望，心想：既然揚不了善名，出惡名也成啊。怎麼出惡名？炒作唄！怎麼炒作？找名人呀！隔現在，註冊個微博帳號隨便找個流量明星就能開撕啊 ——那時候不行，還沒有微博一說，他自然想到了他的行政長官——縣令。
於是在光天化日之下，無賴站在縣衙門前撒了一泡尿，後果是可想而知，這是明目張胆的藐視公堂無視法律啊，自然被請進大堂挨了一板子——這無賴身體也是好，挨了板子後居然昂首挺胸回家了。躺了一天，嘿！身上啥事也沒有！無賴在這件事上的決心還很大，第二天如法炮製，全然不顧行政長管的仁慈和衙門的體面，第三天、第四天.每天去縣衙門領一個板子回來，還喜氣洋洋地，堅持一個月之久！這無賴的名氣已經和衙門口的臭氣一樣，傳遍八方了！縣令大人噤著鼻子，呆呆地盯著案子上的驚堂木，擰著眉頭思考一個問題：這三十個大板子怎麼不好使捏？.想當初，本老爺可是因為奧數加分才金榜題名的，今天要好好建個數學模型，好歹要解決這個問題，挽回一點面子：
——人（系統！）挨板子（衝擊！）以後，會有什麼表現（輸出！）？
——看疼到啥程度。像這無賴的體格，每天挨一個板子啥事都不會有，連哼一下都不會有，你也看到他那得意洋洋的嘴臉了；如果一次連揍他十個板子，他可能會皺皺眉頭，咬咬牙，硬挺著不哼；揍到二十個板子，他會疼得臉部扭曲，象豬似地哼哼；揍到三十個板子，他可能會象驢似地嚎叫，一把鼻涕一把淚地求你饒他一命；揍到四十個板子，他會大小便失禁，勉強哼出聲來；揍到五十個板子，他連哼一下都不可能——死啦！
——嗚呼呀！為啥那個無賴連挨了三十天大板卻不喊繞命，而一次連續打上三十個大板呀？
—— 呀呼嘿，打一次的時間間隔（Δτ=24小時）太長了，所以那個無賴承受的痛苦程度一天一利索，沒有疊加，始終是一個常數；如果縮短打板子的時間間隔（建議Δτ=0.5秒），那他的痛苦程度可就迅速疊加了；等到這無賴挨三十個大板（t=30）時，痛苦程度達到了他能喊叫的極限，會收到最好的懲戒效果，再多打就顯示不出您的仁慈了。
——還是不太明白，時間間隔小，為什麼痛苦程度會疊加呢？
——這與人（線性時不變系統）對板子（脈衝、輸入、激勵）的響應有關。什麼是響應？人挨一個板子後，疼痛的感覺會在一天（假設的，因人而異）內慢慢消失（衰減），而不可能突然消失。這樣一來，只要打板子的時間間隔很小，每一個板子引起的疼痛都來不及完全衰減，都會對最終的痛苦程度有不同的貢獻，總的來說：
t個大板子造成的痛苦程度=Σ(第τ個大板子引起的痛苦*衰減係數)先考慮挨兩板時是什麼情況：把挨板子時的疼痛響應用 這就是卷積公式，它本質上說系統（人）在連續激勵下（挨板子）所的得到的結果（疼）。翻譯的學術一點：卷積將是過去所有連續信號經過系統的響應之後得到的在觀察那一刻的加權疊加。而現實生活中，我們就是要解大量的這種問題，這也就是為啥卷積這麼常見這麼重要的原因。三、卷積定理又是個什麼玩意？前面我說了狄拉克函數，說了卷積，為什麼把他們兩個放在一起？這可以通過卷積定理來說明。信號與系統或自動控制研究的內容是輸入、輸出及系統三者之間的關係。在第一部分，我們說狄拉克函數（也就是單位脈衝函數）的傅立葉變換橫貫在整個頻域上，因此可以作為一個理想的測試信號來確定系統的在各個頻率上的響應情況，也就是說可以用單位脈衝響應可以完整的表徵系統的響應特性。在第二部分的例子中，打板子可以看成是一種衝擊或脈衝信號，系統的響應可以用卷積來計算。這些都是在時域觀察的，如果我們切換到頻域，會是什麼樣？假設激勵信號函數卷積的傅立葉變換是函數傅立葉變換的乘積。具體分為時域卷積定理和頻域卷積定理，時域卷積定理即時域內的卷積對應頻域內的乘積；頻域卷積定理即頻域內的卷積對應時域內的乘積，兩者具有對偶關係。還記得我們以前說過的，時域和頻域有某種對稱性嘛？時域的乘法與頻域卷積或時域卷積與頻域乘法是具有對稱性的，有了這個工具，我們在處理問題的時候就可以隨意轉換，哪個域方便就在哪個域計算。這是我的私人微信，還有少量坑位，可與相關學者研究人員交流學習 目前開設有人工智慧、機器學習、計算機視覺、自動駕駛（含SLAM）、Python、求職面經、綜合交流群掃描添加CV聯盟微信拉你進群，備註：CV聯盟
博士筆記 | 周志華《機器學習》手推筆記第一章思維導圖
博士筆記 | 周志華《機器學習》手推筆記第九章
點個在看支持一下吧