本篇文章繼續總結CVPR 2021 中底層圖像處理相關論文，包含圖像恢復、圖像修補、圖像質量評價、去遮擋等。共計 20 篇。https://openaccess.thecvf.com/CVPR2021?day=all如果想要下載所有CVPR 2021論文，請點擊這裡：Multi-Stage Progressive Image Restoration作者 | Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang, Ling Shao單位 | 起源人工智慧研究院；MBZUAI；蒙納士大學；加利福尼亞大學美熹德分校；延世大學；谷歌論文 | https://arxiv.org/abs/2102.02808代碼 | https://github.com/swz30/MPRNetControllable Image Restoration for Under-Display Camera in Smartphones為了解決 UDC 圖像中空間變化的模糊和噪聲問題，提出一種新型的可控圖像修復算法，利用像素化的 UDC 特定核表示和噪聲估計器。核表示來自於一個精心設計的光學模型，該模型反映了正常和斜向光入射的影響。同時，引入噪聲自適應學習來控制噪聲水平，可以根據用戶的喜好利用它來提供最佳結果。實驗表明，與傳統的圖像修復算法相比，所提出的方法在真實世界的數據集和基於顯示器的對齊數據集上都取得了卓越的定量性能和更高的感知質量。作者 | Kinam Kwon、Eunhee Kang、Sangwon Lee 、Su-Jin Lee 、Hyong-Euk Lee 、ByungIn Yoo 、Jae-Joon Hanhttps://openaccess.thecvf.com/content/CVPR2021/papers/Kwon_Controllable_Image_Restoration_for_Under-Display_Camera_in_Smartphones_CVPR_2021_paper.pdfZero-shot Single Image Restoration through Controlled Perturbation ofKoschmieder’s Model文中提出一個零樣本單一真實世界圖像修復模型，它利用了通過Koschmieder 模型從理論上推導出的降質屬性，是第一個可用於所有應用領域的圖像修復的方法。該用於去噪和水下圖像修復的零樣本學習方法還是第一種不需要基於先驗的損失函數或正則的方法。在現實世界的圖像去模糊化和水下圖像修復中的表現優於或不亞於最先進的方法。另外還進一步證明改方法在低光照圖像增強中的應用，其中可以採用 Koschmieder 的模型。作者 | Aupendu Kar , Sobhan Kanti Dhara , Debashis Sen, Prabir Kumar Biswashttps://openaccess.thecvf.com/content/CVPR2021/papers/Kar_Zero-Shot_Single_Image_Restoration_Through_Controlled_Perturbation_of_Koschmieders_Model_CVPR_2021_paper.pdf主頁 | https://aupendu.github.io/zero-restoreHigh-Quality Stereo Image Restoration from Double Refraction作者 | Hakyeong Kim 、Andreas Meuleman 、Daniel S. Jeon 、Min H. Kimhttps://openaccess.thecvf.com/content/CVPR2021/papers/Kim_High-Quality_Stereo_Image_Restoration_From_Double_Refraction_CVPR_2021_paper.pdfImage Restoration for Under-Display Camera在本次工作中，專注於新定義的顯示器下攝像頭（UDC），作為一個新的現實世界的單一圖像修復問題。首先，採用4k透明OLED（T-OLED）和手機Pentile OLED（P-OLED），並分析它們的光學系統以了解其降質情況。第二，設計一個監視器-相機成像系統（MCIS），以便更容易地獲取真實對數據，並設計一個基於模型的數據合成管道，僅從顯示模式和相機測量中生成點擴散函數（PSF）和UDC數據。最後，使用基於去卷積的管道和基於學習的方法解決複雜的降質問題。改模型展示了一個實時的高質量修復。所提出的方法和結果揭示了UDC的潛在研究價值和方向。作者 | Yuqian Zhou、David Ren、Neil Emerton、Sehoon Lim、 Timothy Large單位 | 伊利諾伊大學厄巴納-香檳分校；伯克利；微軟https://openaccess.thecvf.com/content/CVPR2021/papers/Zhou_Image_Restoration_for_Under-Display_Camera_CVPR_2021_paper.pdfExploiting Aliasing for Manga Restoration本文中，提出一種深度學習方法，用於學習比例因子的漫畫修復。首先為低解析度的漫畫圖像預測一個合適的比例因子。利用預測的比例因子，進一步恢復高解析度的圖像，該圖像具有黑白和同質的色調。在合成數據上取得了很高的準確度，並能在真實世界的案例中產生不錯的結果。作者 | Minshan Xie, Menghan Xia, Tien-Tsin Wong論文 | https://arxiv.org/abs/2105.06830Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE提出一種基於分層 VQ-VAE 的 multiple-solution 圖像修複方法。該方法與以前的方法相比有兩個區別：首先，該模型在離散的隱變量上學習自回歸分布。第二，該模型將結構和紋理特徵分開。提出為結構特徵的分布學習一個條件自回歸網絡。該網絡能夠產生具有高度多樣性的合理結構。對於紋理生成,提出一個結構注意力模塊，用來捕捉結構特徵的遠距離相關性。還提出兩個新的特徵損失，以改善結構的一致性和紋理的真實性。在三個基準數據集（包括CelebA-HQ、Places2和ImageNet）上進行的廣泛實驗表明，所提出的方法在質量和多樣性方面都有優勢。
作者 | Jialun Peng, Dong Liu, Songcen Xu, Houqiang Li論文 | https://arxiv.org/abs/2103.10022代碼 | https://github.com/USTC-JialunPeng/Diverse-Structure-InpaintingTransFill: Reference-guided Image Inpainting by Merging Multiple Color and Spatial Transformations文中提出 TransFill，一種多同域轉換的融合方法，通過參考與目標圖像共享場景內容的另一個源圖像來填補這個洞。首先通過估計由不同深度級引導的多個同構圖，將源圖像與目標圖像對齊。然後，學習調整顏色，並對每個同傳扭曲的源圖像應用像素級的扭曲，使其與目標圖像更加一致。最後，學習一個像素級的融合模塊來選擇性地合併不同的方案。所提出方法在各種寬基線和顏色差異的圖像對上實現了最先進的性能，並可泛化到用戶提供的圖像對。作者 | Yuqian Zhou, Connelly Barnes, Eli Shechtman, Sohrab Amirghodsi單位 | 伊利諾伊大學厄巴納-香檳分校；Adobe Research論文 | https://arxiv.org/abs/2103.15982代碼 | https://github.com/yzhouas/TransFill-Reference-Inpainting主頁 | https://yzhouas.github.io/projects/TransFill/index.htmlImage Inpainting with External-internal Learning and Monochromic Bottleneck作者稱這是首個將 external-internal 學習方法用於深度圖像修復的工作，通過在大型數據集上進行訓練，從外部學習語義知識，同時充分利用單幅測試圖像的內部統計數據。設計一個漸進式的內部色彩復原網絡，可實現出色的色彩化性能。將所提出的方法推廣到多個深度修復模型，並在多個數據集上觀察到視覺質量和模型泛化能力的明顯改善。作者 | Tengfei Wang, Hao Ouyang, Qifeng Chen論文 | https://arxiv.org/abs/2104.09068代碼 | https://github.com/Tengfei-Wang/external-internal-inpaintingPD-GAN: Probabilistic Diverse GAN for Image Inpainting基於 vanilla GAN，提出 PD-GAN 通過所提出的 SPDNorm 對隨機噪聲向量的深度特徵進行調製，以納入上下文約束。以及提出一種感知上的多樣性損失，以增強網絡多樣性。在基準數據集上的實驗表明，PD-GAN 能夠有效地生成多樣的、視覺上真實的圖像修補內容。
作者 | Hongyu Liu, Ziyu Wan, Wei Huang, Yibing Song, Xintong Han, Jing Liao論文 | https://arxiv.org/abs/2105.02201代碼 | https://github.com/KumapowerLIU/PD-GANImage Inpainting Guided by Coherence Priors of Semantics and Textures本文提出一個新的語義分割和圖像修復的聯合優化框架，利用語義和紋理之間存在的一致性先驗來解決複雜的 holes inpainting 問題。為了解決不相關的紋理填充問題，提出一個語義上的注意力傳播模塊，以優化來自同一語義區域的預測紋理，以及兩個一致性損失來約束同一圖像中語義和紋理的一致性。實驗結果表明，所提出方法可以有效地生成有細緻的語義結構和紋理細節。作者 | Liang Liao, Jing Xiao, Zheng Wang, Chia-Wen Lin, Shin'ichi Satoh單位 | National Institute of Informatics；武漢大學；臺灣清華大學論文 | https://arxiv.org/abs/2012.08054Human De-occlusion: Invisible Perception and Recovery for Humans該文針對圖像中人物部分被遮擋的問題，作者提出一個兩階段框架來估計人像不可見的部分，並恢復其中的內容。作者 | Qiang Zhou、Shiyin Wang、Yitong Wang、Zilong Huang、 Xinggang Wanghttps://openaccess.thecvf.com/content/CVPR2021/papers/Zhou_Human_De-Occlusion_Invisible_Perception_and_Recovery_for_Humans_CVPR_2021_paper.pdf代碼 | https://sydney0zq.github.io/ahp/Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration文中提出一個端到端 DDDNet（基於Dual Pixel 的深度和去模糊網絡），以聯合估計inverse 深度圖並從模糊的 DP 圖像對中恢復清晰的圖像。作者 | Liyuan Pan, Shah Chowdhury, Richard Hartley, Miaomiao Liu, Hongguang Zhang, Hongdong Li論文 | https://arxiv.org/abs/2012.00301Troubleshooting Blind Image Quality Models in the Wild作者 | Zhihua Wang, Haotao Wang, Tianlong Chen, Zhangyang Wang, Kede Ma論文 | https://arxiv.org/abs/2105.06747代碼 | https://github.com/wangzhihua520/troubleshooting_BIQARetinex-inspired Unrolling with Cooperative Prior Architecture Search for Low-light Image Enhancement本文中，提出一種新的輕量級方法，Retinex-inspired Unrolling with Architecture Search (RUAS)，用於在現實世界的場景中為低光圖像增強。通過實驗驗證了 RUAS 框架相對於最近提出的最先進方法的優越性。作者 | Risheng Liu, Long Ma, Jiaao Zhang, Xin Fan, Zhongxuan Luo論文 | https://arxiv.org/abs/2012.05609代碼 | https://github.com/dut-media-lab/RUASDebiased Subjective Assessment of Real-World Image Enhancement作者 | Peibei Cao、Zhangyang Wang、Kede Mahttps://openaccess.thecvf.com/content/CVPR2021/papers/Cao_Debiased_Subjective_Assessment_of_Real-World_Image_Enhancement_CVPR_2021_paper.pdfLearning Temporal Consistency for Low Light Video Enhancementfrom Single Images低光照視頻增強。文中提出一種新的方法，在只有靜態圖像的低光視頻增強中強制執行時間穩定性。它的關鍵思想是，從單一圖像中學習和推理運動場（光流），併合成短距離視頻序列。該方法是通用的，可以直接擴展到大規模的數據集。通過實驗和用戶研究表明，所提出的方法具有最先進的性能。
作者 | Fan Zhang、Yu Li、Shaodi You、Ying Fu單位 | 北京理工大學；騰訊PCG；阿姆斯特丹大學https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_Learning_Temporal_Consistency_for_Low_Light_Video_Enhancement_From_Single_CVPR_2021_paper.pdf代碼 | https://github.com/zkawfanx/StableLLVERestoring Extremely Dark Images in Real Time低光照圖像增強。文章提出一個輕量級的新的深度學習架構，用於極端低照度下的單幅圖像修復，不僅推理速度快，輕量級，而且修復效果在感知上與最先進的計算密集型模型相當。作者 | Mohit Lamba、Kaushik Mitra
論文 |
https://openaccess.thecvf.com/content/CVPR2021/papers/Lamba_Restoring_Extremely_Dark_Images_in_Real_Time_CVPR_2021_paper.pdf
代碼 | https://github.com/MohitLamba94/Restoring-Extremely-Dark-Images-In-Real-TimeNighttime Visibility Enhancement by Increasing the Dynamic Range and Suppression of Light Effects夜間能見度圖像增強。構思是增加強度的動態範圍，從而可以提高低光區域的強度，同時抑制光效應（微光、眩光、泛光）。作者稱是首個解決上述問題的方法，該方法以半監督學習為基礎，使用配對數據（有 ground-truths）和非配對數據（無 ground-truths）分別學習動態範圍的改善和光效應的抑制。作者 | Aashish Sharma、Robby T. Tan單位 | 新加坡國立大學；Yale-NUS College
論文 |
https://openaccess.thecvf.com/content/CVPR2021/papers/Sharma_Nighttime_Visibility_Enhancement_by_Increasing_the_Dynamic_Range_and_Suppression_CVPR_2021_paper.pdf
DeFlow: Learning Complex Image Degradations from Unpaired Data with Conditional Flows這篇文章從非成對數據中學習複雜的圖像降質。DeFlow，一種將條件流網絡應用於非配對學習設置的新方法。我們應用這種方法為現實世界超解析度的下遊任務生成合成訓練數據。儘管與目前主要依靠對抗訓練的 RWSR 方法有很大的不同，但 DeFlow 的降質提供了顯著的性能改進，並達到了最先進的性能。作者 | Valentin Wolf, Andreas Lugmayr, Martin Danelljan, Luc Van Gool, Radu Timofte論文 | https://arxiv.org/abs/2101.05796代碼 | https://github.com/volflow/DeFlow
圖像增強、去霧、去雨、圖像修補、圖像恢復等技術，
若已為CV君其他帳號好友請直接私信
在看，讓更多人看到