霧霾太重?深度神經網絡教你如何圖像去霧

雷鋒網(公眾號：雷鋒網)按：本文作者蔡博侖，華南理工大學在讀博士研究生。主要研究方向，機器學習，計算機視覺，圖像處理等。

導讀

北京城被中度汙染天氣包圍，到處都是灰濛濛一片——霧霾天又來了。從11日起，霧霾天氣就開始出現，根據北京環境監測中心最新預報，這一輪霧霾短期內不會明顯好轉，尤其是今明兩天，北京空氣品質維持在4級中度汙染，霧霾會一直持續到本周日。

霧霾是特定氣候與人類活動相互作用的結果。高密度人口的經濟生產及社會活動會排放大量細顆粒物，一旦排放量超過大氣循環和承載能力，懸浮顆粒受靜穩天氣的影響持續積聚，極易出現大範圍的霧霾。

一、圖像去霧的核心

現有的圖像去霧（Image Dehazing）技術離不開一個簡單的自然模型——大氣散射模型（Atmospheric Scattering Model）。大氣散射模型描述了，在霧霾和光照的共同作用下的成像機制：

陽光在物體表面形成反射光 J(x)，反射光在穿過霧霾的過程發生散射，只有部分能量 J(x)t(x) 能到達攝像頭。與此同時，陽光也在懸浮顆粒表面散射形成大氣光 α 被攝像頭接收。因此，攝像頭中的成像 I(x) 可由兩部分組成，透射的物體亮度 J(x)t(x) 和散射的大氣光照 α(1－t(x))：

其中，t(x) 是媒介透射率（medium transmission），顧名思義表示能順利透過霧霾到達攝像頭的比率。因此，透射率跟物體與攝像頭距離 d(x) 成反比，離攝像頭越遠的物體受霧霾影響更大。當距離 d(x) 趨於無窮大時，透射率 t(x) 趨於零，I(x) 趨近於 α，α=max_{y∈{x|t(x)≤t0}}I(y)。綜上所述，去霧的核心是如何更精確地估計媒介透射率 t(x)。

二、基於人工特徵

手工特徵是傳統機器視覺的基礎，講究的是熟能生巧，依賴的是實踐出真知。通過「觀察→經驗→設計」構建各式各樣的特徵來滿足各式各樣的任務需求。圖像去霧技術也是沿著手工特徵逐步地發展起來。

（1）暗通道先驗^[2]（Dark Channel Prior，DCP）

說起去霧特徵，不得不提起的暗通道先驗（DCP）。大道之行在於簡，DCP作為CVPR 2009的最佳論文，以簡潔有效的先驗假設解決了霧霾濃度估計問題。

觀察發現，清晰圖像塊的RGB顏色空間中有一個通道很暗（數值很低甚至接近於零）。因此基於暗通道先驗，霧的濃度可由最暗通道的數值近似表示：

（2）最大對比度^[3]（Maximum Contrast，MC）

根據大氣散射模型，霧霾會降低物體成像的對比度：Σ_x‖ΔI(x)‖=tΣ_x‖ΔJ(x)‖≤Σ_x‖ΔJ(x)‖。因此，基於這個推論可利用局部對比度來近似估計霧霾的濃度。同時，也可以通過最大化局部對比度來還原圖像的顏色和能見度。

（3）顏色衰減先驗^[4]（Color Attenuation Prior，CAP）

顏色衰減先驗（CAP）是一種與暗通道先驗（DCP）相似的先驗特徵。觀察發現霧霾會同時導致圖像飽和度的降低和亮度的增加，整體上表現為顏色的衰減。根據顏色衰減先驗，亮度和飽和度的差值被應用於估計霧霾的濃度：

三、基於深度智能

人的視覺系統並不需依賴這些顯式的特徵變換，便可以很好地估計霧的濃度和場景的深度。DehazeNet是一個特殊設計的深度卷積網絡，利用深度學習去智能地學習霧霾特徵，解決手工特徵設計的難點和痛點。

（1）   特徵提取（Feature Extraction）

特徵提取有別於傳統卷積神經網絡，DehazeNet採用「卷積+Maxout^[5]」的結構作為網絡第一層：

並且可以證明，「卷積+Maxout」等價於傳統的手工去霧特徵：

當W₁是反向（Opposite）濾波器,通道的最大等價於通道的最小值，等價於暗通道先驗（DCP）；當W₁是環形（Round）濾波器, 等價於對比度提取，等價於最大對比度（MC）；當W₁同時包含反向（Opposite）濾波器和全通（All-pass）濾波器，等價於RGB到HSV顏色空間轉換，等價於顏色衰減先驗（CAP）。

此外，從機器學習角度看，Maxout是一種樣條函數，具有更強的非線性擬合能力，如下圖（d）。

（2）   多尺度映射（Multi-scale Mapping）與局部極值（Local Extremum）

多尺度特徵會提高不同解析度下特徵提取的魯棒性。傳統去霧方法中也會採用不同尺度的濾波器（均值、中值、最小值）來增強特徵在不同尺度下的魯棒性。借鑑於GoogLeNet中的inception結構，採用3組不同尺度（3×3，5×5，7×7）的濾波器實現DehazeNet的尺度魯棒性：

局部極值（MAX Pooling）是深度卷積神經網絡的經典操作。局部極值約束了透射率的局部一致性，可以有效抑制透射率的估計噪聲。此外，局部極值也對應於暗通道先驗（DCP）的局部最小值和最大對比度（MC）的局部最大值。

（3）   非線性回歸（Non-linear Regression）

大氣透射率是一個概率（0到1），不可能無窮大，也不可能無窮小。受到Sigmoid和ReLU激勵函數的啟發，提出雙邊糾正線性單元（Bilateral Rectified Linear Unit，BReLU），在雙邊約束的同時，保證局部的線性。

BReLU的非線性回歸對應於傳統去霧方法中的邊緣抑制操作（如DCP和CAP）。雙邊約束引入先驗信息縮小參數搜索空間，使得網絡更加容易訓練；局部線性避免Sigmoid函數梯度不一致帶來的收斂困難。

DehazeNet基於手工特徵，又超出傳統方法，從人工到智能。因此，DehazeNet取得了更好的去霧結果，更多的對比實驗和代碼資源：

參考文獻

[1] Cai B, Xu X, Jia K, et al. DehazeNet: An End-to-End System for Single Image Haze Removal [J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[2] He K, Sun J, Tang X. Single image haze removal using dark channel prior[J]. IEEE transactions on pattern analysis and machine intelligence, 2011, 33(12): 2341-2353.

[3] Tan R T. Visibility in bad weather from a single image[C]//Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. IEEE, 2008: 1-8.

[4] Zhu Q, Mai J, Shao L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533.

[5] Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout networks[J]. ICML (3), 2013, 28: 1319-1327.

雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。