據IEEE SPECTRUM網站6月23日報導,圖片去馬賽克算法很好,但AI研究人員發現了它固有的解析度上限。
好萊塢電影的科幻場景現在至少已經部分稱為科學現實。你可能曾經看過:為了拯救世界,特工有時需要從非常模糊,顆粒狀或像素化的圖像中恢復出來高解析度人臉照片。
[AI去馬賽克算法生成的圖像往往和原圖像差很大]
現在,人工智慧已經為這樣的場景提供了部分(儘管可能最終無濟於事)方案。但這只能部分成功,因為克勞德·香農(Claude Shannon)的信息熵理論總是笑到最後。正如一種新算法現在向所有人展示的那樣,從低解析度原始圖像「升採樣」的AI生成的有真實感的面部圖象可能看起來與真人非常不同,甚至根本沒有相似之處。
非常抱歉,源圖像中的少數幾個像素就包含這麼點信息。AI令人信服地渲染了虛構的面孔,計算機生成的面孔與真人相去甚遠,因為原始圖像實際上是信息稀疏的。美國北卡羅來納州達勒姆市杜克大學的計算機科學教授辛西婭·魯丁說,但這還不是故事的結局。她和她的同事們開發的AI算法可能還有其他價值。
[升採樣技術在某些圖片處理領域可以取得令人滿意的效果]
對於初學者來說,魯丁說:「我們已經證明你無法從模糊圖像中進行人臉識別,因為存在很多可能性。因此,縮放和增強都不可能超過某個閾值水平。」 但是,魯丁補充說,「PULSE(她的小組開發的Python軟體)可能具有廣泛的應用範圍。它不僅僅只是個在去像素化的過程中出現「過採樣」問題的沒用軟體。(儘管將其誤用於面部識別目的必然會產生問題)。」魯丁說,「毫無疑問,PULSE也有許多未開發的藝術和創意可能性。」
為了應對這一挑戰,魯丁和杜克大學的四位合作者通過潛在空間探索算法開發了他們的照片升採樣工具(本月初在2020年計算機視覺和模式識別會議上進行了演示)。
魯丁說:「過去,許多算法都試圖從低解析度/高解析度對比中恢復高解析度圖像。」但是據她說,這可能是錯誤的方法。此升採樣問題的大多數實際應用將涉及僅訪問低解析度原始圖像。那將是嘗試重新創建與低解析度原始圖像相同的高解析度的起點。
魯丁說:「當我們最終放棄嘗試提出基本事實時,我們便能夠拍攝低解析度的圖片,並嘗試構建許多非常好的高解析度圖像。」她說,因此,儘管PULSE看起來在面部識別應用上是失敗的,但它仍然可以在處理自身模糊圖像的領域中找到應用場合,其中包括天文學,醫學,顯微鏡和衛星圖像。
[許多升採樣的應用都是用AI畫出不存在的細節]
魯丁警告:只要使用PULSE的人都了解它會生成擁有廣泛可能性的圖像,而其中的任何一個都可能是模糊圖像的源頭,PULSE就有可能使研究人員更好地了解給定的想像空間。
舉例來說,天文學家拍攝的黑洞圖像非常模糊。結合生成天文圖像的AI成像工具,PULSE可以渲染許多可能產生低解析度照片的天體的物理場景。
目前,PULSE已針對人臉進行了優化,因為NVIDIA已經開發了可創建逼真的人臉AI的「生成對抗網絡」(GAN)。因此,PULSE團隊開發的應用程式基於NVIDIA的StyleGAN算法。換句話說,PULSE提供了位於GAN之上的分類和瀏覽工具,它可以無意識地噴出無數的任何經過培訓的圖像。
魯丁還認為在建築和設計領域可能有PULSE的應用場合。她說:「目前,StyleGAN還不具備其他功能。」 「能夠生成房間圖片真是太好了。如果您只有幾個像素,而它能夠對整個房間進行全圖顯示。那肯定很棒。這種應用可能即將會到來。」
她說:「任何時候只要有了這種模型,就可以使用PULSE搜索整個空間。」而且只要搜索該空間時不會涉及設置為在「00:00」時爆炸的滴答定時炸彈,那麼這個PULSE最終可能仍會打開更多的門,而不是炸開鉸鏈。