CVPR 2020|合成圖像更真實,上交大提出基於域驗證的圖像和諧化

2020-12-19 機器之心Pro

機器之心發布

作者：牛力

近日，計算機視覺頂會 CVPR 2020 接收論文結果公布，從 6656 篇有效投稿中錄取了 1470 篇論文，錄取率約為 22%。本文介紹了上海交通大學被此頂會接收的一篇論文《Deep Image Harmonization via Domain Verification》。

圖像合成 (image composition) 是圖像處理的常用操作，把前景從一張圖上剪貼下來粘貼到另一張圖上，獲得一張合成圖。合成圖可以用來獲取感興趣的目標圖像，也可以用於數據增廣，有著廣泛的應用的前景。但通過這種方式得到的合成圖存在諸多問題，比如前景的大小或位置不合理、前景和背景看起來不和諧等等。我們的工作側重於解決合成圖中前景和背景不和諧的問題。具體來說，在合成圖中，前景和背景是在不同的拍攝條件 (比如時刻、季節、光照、天氣) 下拍攝的，所以在亮度色澤等方面存在明顯的不匹配問題。圖像和諧化 (image harmonization) 旨在調整合成圖中的前景，使其與背景和諧。

傳統的圖像和諧化方法一般是從背景或者其他圖片轉移顏色信息到前景上，但這樣無法保證調整之後的前景看起來真實並且與背景和諧。近年來，已經有少量的工作嘗試用深度學習做圖像和諧化，但成對的合成圖和真實圖極難獲得。如果沒有成對的合成圖和真實圖，深度學習的訓練過程缺乏足夠強的監督信息，合成圖和諧化之後的結果也沒有 ground-truth 用於評測。截至目前還沒有公開的大規模圖像和諧化資料庫，我們構建並公布了由四個子資料庫組成的圖像和諧化資料庫。並且，我們提出了域驗證 (domain verification) 的概念，嘗試了基於域驗證的圖像和諧化算法。

資料庫和代碼已公布： https://github.com/bcmi/Image_Harmonization_Datasets論文地址： https://arxiv.org/abs/1911.13239我們構建資料庫的方法仿照 [1] 中的策略，具體來說，給定一張真實圖，選擇一個前景進行調整使其和背景不和諧，得到一張人造的合成圖。這種構建資料庫的方式可以產生大規模成對的訓練數據用以訓練深度學習模型。但是 [1] 沒有公布其構建的資料庫，並且 [1] 建庫的方式在合成圖的合理性和多樣性上存在明顯不足。對前景進行調整使其和背景不和諧並不困難，簡單的改變前景亮度即可快速生成大量的合成圖。然而，如果要保證合成圖的合理性和多樣性並且接近實際的應用場景，則非常困難。因此，我們構建了一個 [1] 中資料庫的增廣增強版本，共包含 73,146 對合成圖和真實圖的資料庫。我們的資料庫包含四個子資料庫：HCOCO, HAdobe5k, HFlickr, Hday2night，其中 Hday2night 是 [1] 中沒有的子資料庫。Hday2night 的合成圖更接近真實的合成圖，因此相比較其他三個子資料庫有特殊的參考價值。我們針對產生合成圖的種種問題，用兩輪自動篩選和逐張人工篩選保證最終保留圖片的質量。我們對最終的資料庫做了全面細緻的分析，包括不同的前景比例、不同的前景調整方法、不同的語義種類對圖像和諧化資料庫以及圖像和諧化算法結果的影響，詳見論文的補充材料。接下來，我們從每個子資料庫選兩個例子展示我們的資料庫。如下圖所示，我們對真實圖片 (real image) 的前景 (mask 對應的區域) 進行調整，得到合成圖 (synthesized composite)。可以看出在合成圖中，前景雖然真實，但是和背景明顯違和，整張圖看起來不真實。圖像和諧化的任務是調整合成圖的前景，使其與背景和諧。

域 (domain) 是一個非常寬泛的概念，在不同的應用任務中被賦予了不同的含義。圍繞域 (domain) 相關的應用也吸引了越來越多研究者的興趣，比如域適應 (domain adaptation)、域泛化 (domain generalization)、域分類 (domain classification)、域翻譯 (domain translation) 等等。最近很多流行的圖像到圖像翻譯 (image-to-image translation) 的方法比如 pix2pix, cycleGAN, MUNIT, DRIT 等都屬於域翻譯的範疇。域翻譯的一個經典應用是把白天的風景圖轉化成夜景圖，其中白天 (daytime) 和夜晚 (night) 可以當作兩個域 (domain)。類似的，我們把每一種拍攝條件（比如時刻、季節、光照、天氣）當作一個域 (domain)，因此真實圖片存在無窮多個可能的域。真實圖的前景和背景是在相同的拍攝條件下拍攝的，因此屬於相同的域。合成圖的前景和背景可能是在不同的拍攝條件下拍攝的，因此屬於不同的域。我們不知道合成圖中前景和背景的域標籤 (domain label), 只需要把前景遷移到和背景相同的域。因此圖像和諧化 (image harmonization) 可以看成是特殊場景下的域翻譯 (domain translation)。據此，我們提出了域驗證 (domain verification) 的概念，即判斷前景和背景是否屬於同一個域，並設計了域驗證鑑別器（domain verification discriminator），用於拉近和諧後的前景和背景的域。我們的整體網絡結構如下圖所示。

我們生成器的結構基於 UNet 實現，但是增加了類似於 [2] 中的注意力機制 (attention block)。另外，我們引入了兩個鑑別器，第一個鑑別器是生成對抗網絡（GAN）裡面標準的鑑別器，作用於整張圖片，使得生成圖片的數據分布和真實圖片的數據分布接近。第二個鑑別器就是我們提出的域驗證鑑別器，使得生成圖中前景和背景的域儘可能接近。具體來說，我們首先用部分卷積 (partial convolution) 分別提取前景和背景的域表徵。部分卷積最早應用於圖像填充 (image inpainting)，在這裡用來提取形狀不規則的前景和背景的域表徵，可以避免其他區域的信息洩露和默認填充方法的幹擾。基於前景和背景的域表徵，我們提出了域驗證損失 (domain verification loss)。我們的域驗證損失雖然最終包裝成了對抗損失 (adversarial loss) 的形式，但本質上是基於前景和背景域表徵相似度的驗證損失 (verification loss)。在我們構建的資料庫上，我們比較了我們的方法、傳統的圖像和諧化方法和基於深度學習的圖像和諧化方法。實驗結果表明我們的方法優於現有的方法。可視化結果的比較見下圖，我們比較了之前的圖像和諧化深度學習方法 DIH 和 S2AM，也比較了我們不用域驗證鑑別器（domain verification discriminator）的方法。

並且，我們還在 [1] 提供的 99 張真實合成圖上進行用戶主觀評測（user study）, 結果表明我們的方法優於現有的方法。關於量化指標，因為有 ground-truth 的真實圖，我們可以定量評測生成圖的效果。我們沿用 [1] 的 MSE 和 PSNR, 同時也提出了只考慮前景的 fMSE，因為對於前景比例較小的合成圖，轉換之後的前景誤差可能會被背景的重構誤差淹沒。我們也嘗試了其他的量化指標比如 SSIM、LPIPS 等等，但是由於合成圖和真實圖在結構和語義層面非常接近，我們觀察發現這些量化指標並不十分可靠。所以，我們最終只用了定量指標 MSE/fMSE、PSNR 和用戶主觀評測的指標 B-T score。關於我們方法的技術細節和全部的實驗結果，請參見論文正文和補充材料。歡迎大家關注我們的資料庫和方法，關注圖像和諧化領域。

參考文獻：

[1] Tsai, Yi-Hsuan, et al.「Deep image harmonization.」In CVPR, 2017.

[2] Cun, Xiaodong and Pun, Chi-Man.「Improving the harmony of the composite image by spatial-separated attention module.」, TIP, 2019.

相關焦點

  • CVPR2020 | 讓合成圖像更真實,上交大提出基於域驗證的圖像和諧化
    截至目前還沒有公開的大規模圖像和諧化資料庫，我們構建並公布了由四個子資料庫組成的圖像和諧化資料庫。並且，我們提出了域驗證 (domain verification) 的概念，嘗試了基於域驗證的圖像和諧化算法。我們構建資料庫的方法仿照 [1] 中的策略，具體來說，給定一張真實圖，選擇一個前景進行調整使其和背景不和諧，得到一張人造的合成圖。
  • 今日Paper | 物體渲染;圖像和諧化;無偏數據處理方法;面部偽造檢測...
    : 基於深度學習的圖像引導的物體渲染基於域驗證的圖像和諧化人體姿態估計中的無偏數據處理方法的研究面部X射線，可進行更一般的面部偽造檢測即插即用(Plug and Play)的受限文本生成方法論文名稱：IGNOR
  • CVPR 2020 Oral丨基於範例的精細可控圖像翻譯CoCosNet,一鍵生成你心目中的圖像
    同時提供每月大咖直播分享、真實項目需求對接、乾貨資訊匯總，行業技術交流。為此，本文提出基於範例的圖像翻譯技術 CoCosNet，建立原域圖與目標域範例圖像的密集對應，使生成圖片精細匹配範例圖片風格。CoCosNet 方法在一系列任務（語義分割->自然圖像、輪廓->人臉圖片、關鍵點->姿態圖片）中，生成質量大幅領先現有方法，且圖像風格精細可控。此外，我們利用弱監督學習得到跨域圖片之間的集對應，實現如圖像編輯、人像批量上妝等有趣應用。
  • ImageNet圖像合成獲最優結果!
    圖像合成是計算機視覺中的一個重要問題。谷歌大腦的Ian Goodfellow等人在他們的最新研究中提出「自注意力生成對抗網絡」（SAGAN），將自注意力機制引入到卷積GAN中，作為卷積的補充，在ImageNet多類別圖像合成任務中取得了最優的結果。圖像合成（Image synthesis）是計算機視覺中的一個重要問題。
  • 圖像合成神器MSG-GAN入選CVPR2020,超越最先進GAN
    今天分享一篇被CVPR 2020接收的論文，這篇論文與生成對抗GAN相關，題目為「MSG-GAN: Multi-Scale Gradient GAN for Stable Image Synthesis」（MSG-GAN:用於穩定圖像合成的多尺度梯度GAN）。
  • 圖像合成神器 MSG-GAN入選CVPR2020,超越最先進GAN,穩定多尺度高...
    今天分享一篇被CVPR 2020接收的論文，這篇論文與生成對抗GAN相關，題目為「MSG-GAN: Multi-Scale Gradient GAN for Stable Image Synthesis」（MSG-GAN:用於穩定圖像合成的多尺度梯度GAN）。
  • [CVPR 2020]BEDSR-Net:單張文檔圖像的陰影去除深度網絡
    2020收錄論文「BEDSR-Net: A Deep Shadow Removal Network from a Single Document Image」的主要工作，該論文針對行動裝置拍攝的文檔圖像的去陰影任務提出了一種基於深度學習的SOTA解決方法。
  • 圖像合成神器 MSG-GAN入選CVPR2020,超越最先進GAN,穩定多尺度高解析度
    接收的論文，該文提出了多尺度梯度生成對抗網絡(MSG-GAN)，這是一種簡單而有效的技術，為高解析度圖像合成提供了一種穩定的方法，並作為常用的漸進生長技術的替代。今天分享一篇被CVPR 2020接收的論文，這篇論文與生成對抗GAN相關，題目為「MSG-GAN: Multi-Scale Gradient GAN for Stable Image Synthesis」（MSG-GAN:用於穩定圖像合成的多尺度梯度GAN）。
  • CVPR 2018摘要:第四部分
    這裡的主要潛在挑戰稱為域移位：基本上，目標域中的數據分布（例如，真實圖像）與源域中的數據分布（例如，合成圖像）不同。 設計能夠應對這種轉變的模型正是稱為域適應的問題。 讓我們看看人們現在如何處理這個問題，考慮一下CVPR 2018中的一些論文，比之前的「CVPR in Review」分期付款稍微詳細一些。
  • 學界 | 北郵奪冠CVPR 2018 DeepGlobe比賽,他們是這樣做衛星圖像識別的
    基於衛星圖像的道路檢測在城市規劃，自動駕駛，應急指揮等領域有很廣泛的應用場景。此次比賽的任務是將衛星圖像中的道路部分提取出來，即將每個屬於道路部分的像素點標註為道路，其他部分標註為背景（屬於一個二元分割的問題）。
  • CVPR最新醫學影像AI論文:利用學習圖像變換進行數據增強
    在one-shot磁共振成像（MRI）腦部分割這一實際挑戰中，MIT團隊提出的半監督方法只需要單個有人工標註的數據以及其他沒有標註的數據。首先從圖像中學習變換模型，通過該模型及已標註樣例再來合成額外的標註樣例進行訓練。每個變換由空間變形場（spatial deformation field）和強度（intensity）變化組成，能夠合成複雜的效果，例如解剖學和圖像採集程序的變化。
  • 圖像也能做情感遷移?羅切斯特大學團隊提出計算機視覺新任務
    與其他計算機視覺任務相比，圖像情感遷移更有挑戰性，需要對圖像中的每個物體進行不同的情感遷移。該研究提出一種靈活有效的物體級圖像情感遷移框架和新模型 SentiGAN，實驗證明該框架可以有效執行物體級圖像情感遷移。什麼是圖像情感遷移？圖像情感遷移是一個待探索的新型研究任務。
  • 深度學習: 細粒度圖像分類 (fine-grained image recognition)
    其目的是對粗粒度的大類別 進行更加細緻的子類劃分, 但由於子類別間細微的 類間差異和較大的類內差異, 較之普通的圖像分類 任務, 細粒度圖像分類難度更大.目前, 絕大多數的分類算法都遵循這樣的流程框架:首先找到前景對象(鳥)及其局部區域(頭、腳、翅膀等), 之後分別對這些區域提取特徵.
  • 合成逼真圖像,試試港中大&英特爾的半參數方法|CVPR 2018 oral
    根據大致的草圖框架（也稱語義布局法），深度神經網絡現在可以直接合成真實效果的圖片。不過，主流圖像合成所用的模型大多是參數模型（parametric models）。這種模型，所有和逼真外觀有關的數據，都會體現在深度神經網絡的權重裡。不過，這與人類畫畫的方式不太一樣。
  • 基於同質區和遷移學習的高光譜圖像半監督分類
    而我們獲得的許多有標記樣本的遙感圖像可能不滿足這個條件，直接用於構建待分類遙感圖像的分類器效果不是很理想，若重新標記新的數據來訓練模型以適應新的數據分布，代價太高且費時費力。針對這一問題，本文提出了一種基於同質區和遷移學習的半監督高光譜圖像分類方法。
  • GANs中的明星StarGAN:使用單一模型執行多個域的圖像轉換,GAN之父...
    然而，現有的方法在處理兩個以上的域時在可伸縮性和魯棒性上存在局限，原因在於應該為每一對圖像域獨立建立不同的模型。 為了解決這個限制，我們提出了StarGAN，這是一種新穎且可擴展的方法，可以僅使用一個模型來執行多個域的圖像到圖像的轉換。
  • CVPR 2020|弱監督怎樣做圖像分類?上交大提出自組織記憶網絡
    機器之心發布作者：塗逸近日，計算機視覺頂會 CVPR 2020 接收論文結果公布，從 6656 篇有效投稿中錄取了 1470 篇論文，錄取率約為 22%。前者是因為當使用類別名 (category name) 作為關鍵字來爬取網絡圖像時，在搜索結果中可能會出現不屬於該類別的圖片。後者則是因為網絡圖片的內容與來源非常多樣，導致抓取的圖片往往包含比標準的圖像分類數據集更多的無關背景信息。在下圖中的兩張圖片均用關鍵字「狗」抓取。
  • 歷年 CVPR 最佳論文盤點
    但是，由於生成的圖像和真實圖像的分布有所區別，用生成的圖像訓練的模型可能沒有用真實圖像訓練的表現那麼好。為了縮小這種差距，論文中提出了一種模擬+無監督的學習方式，其中的任務就是學習到一個模型，它能夠用無標註的真實數據提高模擬器生成的圖片的真實性，同時還能夠保留模擬器生成的圖片的標註信息。
  • 向圖像進擊的Transformer! OpenAI提出Image GPT實現高質量圖像補全和樣本生成
    而像素序列針對其所屬的圖像卻沒有非常明顯的標籤。即使沒有這種隱式的監督，GPT-2在圖像任務上成功的原因也不難發現：一個足夠大的transformer模型，用於訓練針對下一個像素的預測，最終能夠學會生成豐富的可以清晰辨認的目標樣本。當模型可以有效合成圖像時，研究人員開始思考是不是可以通過「基於合成的分析」來嘗試利用模型識別目標的分類。
  • 5個最新圖像合成GAN架構解讀:核心理念、關鍵成就、商業化路徑
    本文總結了5個最近推出的用於圖像合成的GAN架構，對論文從核心理念、關鍵成就、社區價值、未來商業化及可能的落地應用方向對論文進行解讀，對創業者、開發者、工程師、學者均有非常高的價值。多域圖像到圖像翻譯的統一生成網絡。