NAS-DIP: 基於神經架構搜索的自監督圖像補全算法

　　From: Arxiv；編譯: T.R

　　與先前使用大規模監督數據進行訓練的算法不同，Deep Image Prior(DIP)利用隨機初始化的神經網絡模型和退化後的圖像進行自監督迭代，在無需大規模數據進行訓練的情況下，就能有效實現圖像去噪、超分辨和補全等任務。神經網絡可以有效捕捉自然圖像中的先驗信息，優先對圖像中的低頻部分進行學習，逐步修復圖像，得到令人滿意的結果。

　　但在實際應用過程中，如何選擇適合的網絡結構、如何確定最優的學習迭代次數，這依然需要進行進一步研究。為了獲取更好的網絡架構和學習參數，來自維吉尼亞理工的研究人員們提出了一種基於神經網絡架構搜索(NAS)的方式，在更為豐富的結構空間中尋找到能夠捕捉更強圖像先驗的結構。

　　文末有實習生招聘，有需求的同學們不要錯過！

　　NAS-DIP

　　DIP可以利用退化後的圖像和未經訓練的模型處理圖像超分辨、去噪和補全等圖像修復問題。這種思想為圖像修復提供了獨特的思路，但如何選擇適合的網絡結構依然有待研究。

　　

　　在這一工作中，研究人員提出了利用NAS的方式來尋找可以捕捉更強圖像先驗的網絡架構，將搜索空間拓展到了上採樣模式和更為豐富的特徵skip連接模式中去。具體來講，這一工作首先利用基於強化學習的RNN控制器，在一系列配對圖像上尋找最優的網絡結構，而後在測試階段隨機初始化學習到的最佳結構，來對退化後的圖像進行處理，實現圖像修復。下圖展示了該工作與監督學習、DIP的比較，以及整個算法的流程。

　　

　　左圖展示了基於配對圖像進行監督學習的圖像修複方法(上)和原始的DIP模型架構(下)；右圖則是本文提出的方法，上半部分利用了基於RNN控制器的NAS算法在配對數據集上進行最佳網絡架構搜索，下半部分則在得到的最佳網絡上對待修復圖像進行處理。

　　NAS-DIP的處理流程包括了兩個階段。在上圖的右上部分可以看到，NAS-DIP首先利用基於RNN控制器的強化學習搜索算法來從搜索空間中進行學習，利用數據集中退化圖像與GT間的PSNR作為監督信號來獲取先驗最佳的網絡結構(藍色部分)。在網絡結構搜索完成後，在最優架構上運行DIP算法即可。

　　本研究充分探索了解碼器中的上採樣結構以及編解碼器之間的跳接層連接方式，並在他們構成的網絡結構空間中進行搜索。下圖展示了不同參數構成的上採樣結構，涵蓋了特徵上採樣算法、特徵轉換、卷積核尺寸、擴充比例和激活函數等五種不同的結構參數。

　　

　　上採樣部分的搜索空間

　　整個上採樣操作被解構為了特徵圖空間解析度的提升和特徵轉換(transform)兩個過程。其中改變空間解析度的操作主要有雙線性上採樣、雙三次上採樣、最鄰近插值、depth-to-space以及步長為二的反卷積構成。而對於特徵轉換的操作主要有：2D卷積、連續通道加和、可分離卷積、depth-wise卷積和identity操作。為了獲得更為靈活的搜索空間，這些操作在訓練過程中都包含可學習參數，包括卷積核尺寸、膨脹率以及激活函數的選擇等(包含ReLU、LeakyReLU、SELU和PReLU等)。通過上採樣空間的分解、可以更加靈活地對網絡空間進行搜索。

　　針對編解碼器間的連接，研究人員提出了跨尺度的殘差連接結構。與U-Net在相同尺度特徵層上的連接不同，這種跨尺度的連接可以有效融合多尺度信息。下圖顯示了兩種不同的跨尺度連接方式，左圖在U-Net的基礎上添加了隨機跨尺度連接，而右圖則在一定的約束下進行跨尺度連接(兩個低層、一個平層、一個高層連接)，這在保持搜索有效性的基礎上使得搜索空間大幅度減小。

　　

　　編解碼器間的跨尺度連接

　　此外，工作還提出了漸進式的上採樣操作，將4X的上採樣分解為了兩個上採樣操作。一種方式是利用兩個連續的上採樣操作來實現、另一種方式是在對應尺寸的特徵圖上利用權值共享的上採樣操作。

　　

　　將上採樣操作進行分解，以便實現跨尺度連接。在上採樣後，所有的特徵圖在相同尺度上進行融合，而後作為解碼器下一層級的輸入。

　　值得一提的是，在DIP對圖像進行修復的過程中，何時停止優化、迭代次數如何設置還沒有充分的研究。最優的迭代次數與網絡結構密切相關，由於在NAS訓練過程中存在GT結果，可以由此進行統計來得到最佳的停止條件。這樣在運行搜索到網絡的測試過程就能利用最佳停止條件來控制網絡的輸出結果了。

　　實驗結果

　　研究人員從DIV2K中隨機選取了100張圖像來構造訓練NAS算法的訓練集，針對不同的任務在V100上訓練了3-5天。下表展示了這種搜索算法在圖像超分辨、補全任務上與其他算法的性能比較。

　　

　　可以看到，這種方法在Learning free方法的比較中得到了較好的結果，同時也十分接近基於監督學習的算法，在圖像超分辨上取得了非常好的效果。同樣在補全和去噪等任務上也超過了原始的DIP算法。下圖展示了基於神經架構搜索的DIP方法在超分辨領域得到了很好的結果。

　　

　　這一算法同時還可以有效修復圖像去霧的結果，下面展示了針對有霧圖像的修復，可以看到這一算法有效修復了其中的細節並提升了圖像中的對比度。

　　

　　如果希望了解更多細節，可以參考論文原文和作者的實驗代碼：

　　論文連結：https://link.springer.com/chapter/10.1007/978-3-030-58523-5_26

　　代碼連結： https://github.com/zhangdan94/NAS-DIP-pytorch

　　
ref:

　　https://zhuanlan.zhihu.com/p/58038288
https://zhuanlan.zhihu.com/p/242222614
https://www.zhihu.com/question/263404981

特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺「網易號」用戶上傳並發布，本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.