馬賽克秒變沒!杜克大學推AI圖像生成器,糊圖像5秒變清晰

2020-12-15 騰訊網

智東西（公眾號：zhidxcom）

編 | 董溫淑

智東西6月24日消息，近日，杜克大學的研究團隊研發了一個AI圖像生成模型PULSE。PULSE可以在5秒鐘內將低解析度的人像轉換成清晰、逼真的人像。

要指出的是，PULSE所做的工作並不是把輸入的低解析度人像變成一張高解析度的人像，而是「一對多」地輸出許多張面部細節各不相同的高解析度人像。比如，用戶輸入一張16*16解析度的圖像，PULSE可輸出一組1024*1024解析度的圖像。

點擊播放 GIF 3.9M

這項研究於本月在計算機視覺與模式識別頂會CVPR 2020上發表，論文標題為《PULSE：通過對生成模型的潛在空間探索實現自監督照片上採樣（PULSE：Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models）》。

論文連結：https://drive.google.com/file/d/1fV7FsmunjDuRrsn4KYf2Efwp0FNBtcR4/view

PULSE項目官網：http://pulse.cs.duke.edu/

GitHub：https://github.com/adamian98/pulse

一、PULSE：能為天文學/醫學提供參考

在好萊塢間諜電影中，肩負拯救世界重任的特工常常採用高科技手段、把一張模糊的兇犯照片還原成清晰的人臉照片。現實中，許多研究人員致力於用AI技術使電影中的炫酷場景成真。但是，現有AI模型的性能普遍較差，生成的人臉圖像往往與照片主人公的真實長相併不相似。

杜克大學計算機科學專業教授Cynthia Rudin指出，這是因為低像素圖像中的信息較少，AI模型無法準確地「補足」缺失信息、進而還原出清晰人臉圖像。因此，用AI技術對模糊人像進行面部識別十分困難。

Rudin團隊認為，雖然不能用於模糊人像的面部識別，但是這類AI模型可以作為一種分類和探索工具，用於天文學、醫學等難以獲得清晰圖像的領域。也就是說，基於模糊圖像中缺失信息的各種可能性，AI模型可以生成許多清晰的圖像，生成的多種圖像可以為天文學、醫學等領域研究人員提供參考。

基於這種設想，杜克大學研究人員研發了基於生成式對抗網絡（GAN）的圖像超解析度模型PULSE。PULSE模型基於NVIDIA的StyleGAN算法進行開發。

二、降尺度損失方法：用生成圖像「倒推」模糊圖，相似才能輸出

為了保證輸出圖像與輸入圖像的「對應性」，研究人員在PULSE模型中應用了一種「降尺度損失（downscaling loss）」方法。

當PULSE模型的生成網絡提議以一張清晰圖像作為輸出時，判別網絡會把這張清晰圖像的解析度降低到與輸入圖像相等的水平。然後，判別網絡會對比降尺度損失圖像與輸入圖像之間的相似性。

只有在降尺度損失圖像與輸入圖像相似性較高時，判別網絡才會判定生成網絡提議的清晰圖片可以作為輸出。

▲基於同一張模糊的圖像，PULSE可以生成面部細節不同的清晰圖像

三、40位評估者參與打分，PULSE模型MOS得分最高

研究人員用高分辨人臉數據集CelebA HQ評估PULSE的性能。為了進行對比，研究人員利用CelebA HQ數據集訓練了監督模型BICBIC、FSRNET和FSRGAN。

所有模型均以16*16解析度的圖像作為輸入，BICBIC、FSRNET和FSRGAN模型以128*128解析度圖像作為輸出，PULSE模型以128*128解析度圖像和1024*1024解析度圖像作為輸出。

評估結果顯示，圖像質量方面，PULSE模型在生成眼睛、嘴唇等圖像細節方面的能力優於其他模型。

▲PULSE生成圖像的嘴唇、眼睛更加清晰

接下來，研究人員用平均意見分數（MOS）測試來定量評估模型的解析度。研究人員應用6個模型生成128*128解析度的圖像，邀請40位評估者對6個模型的輸出結果進行打分。

用於對比的模型分別是：HR、Nearest、Bicubic、FSRNet、FSRGAN。

結果顯示，PULSE的MOS分數最高，為3.60，即評估者認為PULSE模型生成的圖像解析度最高。

結語：代碼已在GitHub開源，用戶擔憂種族偏見

本項研究中，杜克大學研發的PULSE模型能夠基於一張模糊的人像，生成多張面部細節不同的清晰人像，為使用者提供一個可能的參考範圍。目前，研究團隊已將模型代碼在GitHub開源，鼓勵其他開發者進行實驗。

研究人員稱，在未來，PULSE或可被用於天文學、醫學等領域。比如，一位天文學研究人員可以輸入一張模糊的黑洞圖像，並獲得許多可能的天體照片。

同時，也有人對PULSE的種族偏見問題表示擔憂。有Twitter用戶爆料稱，其在PULSE模型中輸入深膚色種族（比如歐巴馬的照片）的人臉照片後，PULSE輸出了白人的照片。研究人員稱，目前他們正嘗試通過引入更廣泛的數據集解決這一問題。

參考信源：IEEE Spectrum，PULSE

相關焦點

  • 拯救渣畫質,馬賽克圖秒變高清,杜克大學提出AI新算法
    將「馬賽克」像素級別的大頭照轉換成高清照片，是一種怎樣的體驗？那麼，將渣到馬賽克級別的畫面秒變高清，是一種怎樣的體驗？杜克大學的研究人員用 AI 算法告訴你。傳統方法處理此類問題時，一般拿到 LR 圖像後，會「猜測」需要多少額外的像素，然後試著將此前處理過的 HR 圖像中相應的像素，匹配給 LR 圖像。而這種單純匹配像素的結果是，像頭髮和皮膚的紋理這種區域，會出現像素匹配錯位的現象。而且該方法還會忽略了 HR 圖像中，感光性等感知細節。所以最終在平滑度、感光度上出現問題，結果依然會顯得模糊或者不真實。
  • 有碼變高清!AI 修圖 PULSE 一秒還原馬賽克,杜克大學出品
    不過，近日杜克大學（Duke University）研究團隊開發了一款AI修圖黑科技PULSE，可以解決所有低像素煩惱。據說它能夠將圖像原始解析度放大64倍，任何渣畫質都可以秒變高清、逼真圖像，甚至被打了馬賽克的人臉圖像，毛孔、皺紋，頭髮也都能被清晰還原。
  • 將「馬賽克」轉換成高清照片,是一種怎樣的體驗?
    By 超神經場景描述：將「馬賽克」像素級別的大頭照轉換成高清照片，是一種怎樣的體驗？杜克大學提出的 AI 算法，不僅可以「去掉馬賽克」，還能精細到每一道皺紋、每一根頭髮。你要試試嗎？關鍵詞：低解析度 高解析度 GAN在這個追求高清畫質的時代，我們對渣畫質的容忍度越來越低。
  • 杜克大學開發全新算法 馬賽克照片秒變高清人物圖片
    近期，美國杜克大學(Duke University)的研究人員發明了一種新的人工智慧(AI)算法，該算法能夠將低解析度模糊的圖像處理成擁有豐富細節的高解析度人物圖片。研究人員將這種人工智慧工具命名為PULSE，指通過生成模型進行自監督照片採樣，並將毛孔、頭髮等細節進行還原。
  • 圖片秒變高清:一招教會你如何讓圖片秒變清晰
    圖片秒變高清：一招教會你不用下載app如何讓圖片秒變清晰生活中的困惑：不知道你有沒有發現，微信傳圖片，即使是傳原圖，本來是一張挺清楚的到了我們手機上就變得不清晰了？微信傳圖是有損傳圖，所以會出現這樣的情況。
  • 塗鴉塗出攝影大片:英偉達「高更」GAN讓簡筆畫秒變逼真圖像
    SPADE 生成器使用 SPADE 則不需要將分割圖饋入生成器的第一層，其原因是獲得的調製參數已經編碼了關於標籤布局的足夠信息。所以，研究人員捨棄了生成器的編碼部分。這種簡化使網絡更輕便。此外，與現有的分類條件生成器相似，這一新生成器可以輸入隨機向量，提供一種簡單自然的多模式合成方法。圖 4 闡明了生成器架構，其採用了具有上採樣層的幾個 ResNet 塊。
  • 照片秒變全息圖像!Looking Glass推雲服務,卡通畫也能變
    Look Glass公司稱解決這個問題很簡單：將照片圖像變為全息圖像。該公司稱將發布一款雲上服務，可以將2D圖像轉為全息圖像。你只需要輸入一張照片，機器學習系統將會生成一張深度圖像，非常酷炫。圖像抓取的方式不會影響全息圖像的生成，就算不是真的拍攝照片也能夠生成。如果版權屬於你，你就可以創作一個3D版的漫畫畫板。
  • 這種技術能將馬賽克人臉變為高清肖像,但應考慮避免種族歧視丨硬科技
    記者 | 徐詩琪1給圖片加上馬賽克很簡單，但若將馬賽克還原成清晰圖片卻很難。近日，美國杜克大學科研團隊推出了一款AI工具，能將馬賽克級別的模糊人臉，轉換為以假亂真的高清圖像。這個名叫PULSE的算法，能夠在幾秒內將16x16像素的圖片提升至1024x1024，解析度提升高達64倍。目前該算法僅針對人臉照片，經算法生成的新照片能夠呈現臉上的毛孔、皺紋甚至一縷頭髮。圖源：PULSE官網不過，算法生成的人像圖片與原始的真實人臉並不完全相符，它也不能被用於人臉識別。
  • 這個開源動漫生成器讓照片秒變手繪日漫
    機器之心機器之心報導參與：肖清、思隨手拍張照片，順勢轉換為宮崎駿、新海誠等日漫大師的手繪風格作品，這個專門生成動漫圖像的 GAN，實測很好用。方法簡介對於這個項目的 AnimeGAN，如下所示為 AnimeGAN 所採用的生成器網絡與判別器網絡。看起來模型整體是比較常規地一個卷積神經網絡，但它會採用實例歸一化以及新型的 LReLU 激活函數。
  • 真的可以一鍵消除馬賽克?宅男狂喜,但不是真的
    這不是最厲害的，近日有網友利用AI技術開發了一款「一鍵去除馬賽克」的軟體，發布沒多久，這款軟體便迅速躥紅網絡。如此神奇的技術，它到底是怎麼實現的呢？杜克大學去馬賽克的方法有所不同，他們開發了一種名為PULSE的算法，雖然也是用的視頻超解析度算法，可以將低解析度圖像變高清，但它填補的不是像素，而是先生成高清大圖，然後降低圖片解析度與原始圖進行對比
  • 世界上真的有消除「馬賽克」的神奇技術?真相來了
    這不是最厲害的，近日有網友利用AI技術開發了一款「一鍵去除馬賽克」的軟體，發布沒多久，這款軟體便迅速躥紅網絡。如此神奇的技術，它到底是怎麼實現的呢？反馬賽克技術解析在科普這種技術之前，我們先要搞清楚馬賽克這個概念。
  • 秒變「女裝大佬」!Snapchat推出性別轉換濾鏡,離線實時渲染
    接下來是對頭髮的測試~當用手對頭髮進行撫摸時出現了鬼畜，據Eric Jang介紹，頭髮上還有一個清晰的分割面罩，可以讓臉部顯露出來。Snapchat可能正在進行頭部的跟蹤，通過計算添加長發效果。生成對抗網絡 由兩個相互博弈的神經網絡組成，即生成器和鑑別器。生成器負責根據輸入生成數據（輸入可以是噪聲，也可以是一些其他的數據）。鑑別器負責分析數據，並區分這些數據是真實的（來自數據集），或者是虛假的（來自生成器）。在形式上可以看做武學中的左右互博。上面公式下標 G 和 D 分別代表生成器 G（Generator）和鑑別器 D（Discriminator）。
  • 我用「喪屍生成器」給愛豆們換了妝 效果太鬼畜!
    既然一張照片可以秒變迪士尼公主，是不是也可以讓它秒變喪屍呢？因此，這位程式設計師小哥借鑑了Toonify的核心技術，開發了這款「喪屍生成器」，而且為了方便大家使用，也做成了網站形式，可免費使用。聽到這裡是不是迫不及待想要體驗一下了？
  • 我用「喪屍生成器」給愛豆們換了妝,效果太鬼畜!
    既然一張照片可以秒變迪士尼公主，是不是也可以讓它秒變喪屍呢？因此，這位程式設計師小哥借鑑了Toonify的核心技術，開發了這款『喪屍生成器』，而且為了方便大家使用，也做成了網站形式，可免費使用。聽到這裡是不是迫不及待想要體驗一下了？使用教程該網站名為Make Me A Zombie。操作簡單，出圖很快。
  • 由馬斯克發起創辦的AI實驗室發布新型圖像生成器
    OpenAI培訓出了一款名為Dall-E的軟體，可以從短文字標題生成圖像。它演示了AI如何製作鱷梨和戴著芭蕾舞短裙的蘿蔔蘿蔔形狀的扶手椅。OpenAI對稱為Dall-E的軟體進行了培訓，可以從一個短文字生成圖像。它專門使用了在網際網路上找到的包含120億張圖像及其標題的數據集。
  • AI換臉之後,智能去除馬賽克視頻工具被瘋傳,測試結果令人意外
    在視頻方面，一款名為TeclGAN也在國外爆紅並被瘋傳，這款軟體號稱可以通過AI的方式把視頻中的「馬賽克」處理掉。TeclGAN同樣是一款基於AI深度學習的軟體 ，主要的特點就是通過識別視頻畫面中的圖像，並以此將學習到的模式不斷提升單個元素的解析度，用人話來說就是，TeclGAN能通過AI學習的方式，把模糊的視頻變得更加清晰，不過是現在拍的還是以前拍攝的內容，同時還具有修補圖像細節的能力。那麼TeclGAN去除馬賽克的能力真的有開發人員說的那麼強嗎？
  • 秒變「女裝大佬」!Snapchat推出性別轉換濾鏡,離線實時渲染(附測評)
    女變男的濾鏡也很真實，比如「文文」的臉型大小似乎沒有改變，只是整體的色調被調黑，下頜變寬，加上了一撮小鬍子，以及把長發藏了起來。生成對抗網絡 由兩個相互博弈的神經網絡組成，即生成器和鑑別器。生成器負責根據輸入生成數據（輸入可以是噪聲，也可以是一些其他的數據）。鑑別器負責分析數據，並區分這些數據是真實的（來自數據集），或者是虛假的（來自生成器）。在形式上可以看做武學中的左右互博。
  • 高糊視頻秒變4K,Facebook發布低解析度視頻實時渲染算法
    賈浩楠 發自 凹非寺量子位 報導 | 公眾號 QbitAI還記得那個引來巨大爭議，最後把LeCun逼退推特的低解析度圖像還原算法PULSE嗎？PULSE是針對低解析度圖像進行還原的，而就在PULSE問世不久後，一個針對模糊視頻進行實時高解析度渲染的算法問世了。前幾天，Facebook公布了一項在即將舉行的SIGGRAPH 2020會議上展示的新論文，提出了一種新的神經網絡算法神經超採樣。
  • 可用於水下形成清晰圖像的機器學習算法,高度還原拍照顏色與亮度
    打開APP 可用於水下形成清晰圖像的機器學習算法，高度還原拍照顏色與亮度 大萌、夏雅薇 發表於 2020-01-17 13:50:22
  • 讓人掃興的那種馬賽克,終於沒了?
    原來這個「PULSE」是美國杜克大學研發的一個基於AI算法去馬賽克技術。難道說，你們的世界難題——硬碟裡面的馬賽克，終於能破解被幹掉了？Apple了解了一下，這個「PULSE」去馬賽克的原理還挺特別的。