超十億樣本煉就的CNN助力圖像質量增強,Adobe推出新功能「增強細節」
2021-02-08 機器之心選自Adobe
作者：Sharad Mangalick
機器之心編譯
參與：Nurhachu Null、路
近日，Adobe 宣布推出一項名為 Enhance Details（增強細節）的照片編輯應用程式新功能，該功能使用機器學習——一個經過大量訓練的卷積神經網絡——為那些真正需要重視的圖片提供最高的質量。增強細節功能在 Bayer 格式（佳能、尼康、索尼等）和 X-Trans 格式（富士膠片）的原始馬賽克文件上都能很好地使用。
上圖展示了 Fuji X-Trans 文件中細節區域放大到 200% 時的區別。請注意窗戶和街燈中細節的清晰度得到了增強。
照相機是如何看世界的
要想理解「增強細節」的原理，我們先來了解一下普通的數位相機傳感器是如何看世界的。
人眼可以區分數百萬種顏色。我們絕大多數人都是有三色視覺的，我們的視網膜上有不同類型的錐形感光細胞，可以感知紅色、綠色和藍色。每類視錐細胞都可以讓眼睛區分大約 100 種色度，然後人類視覺系統將信號混合在一起來看見這數百萬種不同色度的顏色。
但是，照相機並不是這麼看世界的。
所有的數字照片都是從單色開始的。然後通過逆馬賽克變換過程將照片變成彩色。
數位相機傳感器由兩部分組成。首先是主要的光傳感器陣列。微觀光敏腔測量給定像素的光強度。只是光強，並沒有顏色。例如你在沙灘上，觀看太平洋上的日落。
你看到的景象是這樣的：
你記憶中的樣子。
相機上的光傳感器陣列只能看到一張單色圖片（可能更暗一些，因為光傳感器感知光線的方式與人眼不同，原始處理（raw processing）關心的就是這個問題，但是一張超級黯淡的圖片並不會讓人感興趣，所以.
沒有色彩濾波陣列的相機看到的是這樣的。
在光傳感器陣列上面加上色彩濾波陣列後會產生不同的結果。色彩濾波陣列讓傳感器記錄每一個像素的顏色，例如：
色彩濾波陣列將每個像素記為單個的紅色、綠色或者藍色。這幅圖呈綠色的原因是拜耳陣列（Bayer array）的綠色像素是紅色和藍色像素的兩倍，這是為了模仿人眼感知顏色的方式。
數位照相機對每一個給定像素只會記錄三種顏色之中的一個。例如對於紅色像素，色彩濾波陣列會移除所有的藍色和綠色信息，最終導致這個像素僅僅記錄紅色。因此原始圖像中的每個像素都會缺失其他兩種顏色的信息。
軟體是如何重建圖像的
數字照片中每個像素複合的紅、綠、藍色的值是通過逆馬賽克變換過程來創建的。
逆馬賽克變換方法的出現是藝術與科學。有很多種方式可以對一張照片進行逆馬賽克處理。逆馬賽克設計的選擇可以影響一切，從照片的整體解析度到較小顏色區域的保真度，以及精細細節的準確再現。
在其最基本的形式中，逆馬賽克過程會將鄰近像素的顏色值平均化。例如，具有紅色濾波器的像素將僅提供這個像素關於紅色光強的記錄。逆馬賽克算法會對所有四個相鄰藍色像素的值取平均，來決定最可能的藍色值，然後對周圍的綠色像素也進行同樣的操作得到綠色值。猜測最可能的值是什麼的過程叫做插值，它是逆馬賽克過程的一個重要部分。
在具有平滑色彩梯度或者恆定顏色的圖像區域中，逆馬賽克過程相對簡單一些，比如藍天和白雲。然而，在具有更複雜的圖像區域中，這個過程會變得特別棘手。在具有紋理、精細細節、重複圖案和尖銳邊緣的區域中，標準的逆馬賽克方法會遇到麻煩，從而產生較低解析度和有問題的圖像。
高級的逆馬賽克方法能夠處理這些複雜區域，但是這些方法消耗大量計算資源。構建一幅圖像需要大量數學計算來執行必需的插值操作。即使在最強大的計算機硬體上，這也需要時間。
因此，像 Lightroom 這樣的軟體一直在不斷地進行圖像保真度和速度之間的權衡。
逆馬賽克問題
實際上需要解決的逆馬賽克問題並不多。但是他們一次又一次，以新的和更複雜的形式，在一張又一張的圖像中出現。
小尺寸細節：如果圖像具有逼近相機傳感器解析度極限的小細節，那麼這是一個大問題。如果幸運的話，你僅僅會把這些細節變成混亂的顏色。如果不幸，你會遇到莫爾圖案，顏色偽影排列成迷宮一樣的圖案。
假色：當逆馬賽克算法跨尖銳的邊緣而不是沿著邊緣進行錯誤插值時，你可能看到顏色的突變或者不自然的變化。
Zippering：圖像邊緣缺少通常用來插值顏色數據的一半像素，所以可能出現邊緣模糊。
Adobe 一直在努力提升逆馬賽克算法。多年來，Adobe 已經將算法改進到能夠在大多數圖像上表現得非常好的程度。但是這些特殊的難題仍需要我們以不同的方式思考這個問題。
增強細節
進入 Adobe Sensei。Sensei 集成了人工智慧的所有分支，包括機器學習。
增強細節使用一個經過大量訓練的卷積神經網絡進行圖片質量最大化的優化。Adobe 使用有問題的示例訓練一個神經網絡來對原始圖像進行逆馬賽克處理，然後利用內置於最新 Mac OS 和 win10 作業系統中的機器學習框架來運行這個網絡。增強細節使用的神經網絡已經在超過十億示例上進行了訓練。
這十億示例中的每一個都包含一或多個上述問題，它們給標準的逆馬賽克方法帶來了嚴重的麻煩。Adobe 訓練了兩個模型：一個用於 Bayer 傳感器，另一個用於 Fujifilm X-Trans 傳感器。
所以，增強細節帶來了令人驚嘆的效果，包括更高的解析度、更準確的邊緣和細節渲染、更少的偽影（如假色和莫爾圖案）。
Adobe 用西門子星解析度測試卡進行了計算，發現「增強細節」在 Bayer 和 X-Trans 原始圖像上能夠提供高達 30% 的解析度提升。如果你想自己嘗試一下，請自行下載富士膠片原始文件（https://theblogimages.adobe.com/wp-content/uploads/2019/02/Fuji-X-Trans-Sample-File.zip）。
原文連結：https://theblog.adobe.com/enhance-details/
本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。
✄---
加入機器之心（全職記者 / 實習生）：hr@jiqizhixin.com
投稿或尋求報導：content@jiqizhixin.com
廣告 & 商務合作：bd@jiqizhixin.com
相關焦點
-
「合併」 樣本和標籤? IBM 為多標籤小樣本圖像分類帶來新進展!|...
，每個訓練圖像只包含一個對象，然而現實中的場景中以多對象多標籤居多，因此對於多標籤小樣本的圖像分類研究更 具現實意義。IBM 的研究人員對多標籤小樣本的圖像分類進行了研究，並在 CVPR 2019 大會上進行了論文分享，相關成果發表在 IBM 官網博客上，雷鋒網 AI 科技評論編譯如下。當我們將人工智慧和機器學習擴展到面向企業和工業界應用的更廣泛的任務集時，從更少的數據集中學到更多是必要的。數據增強是一個重要的工具，特別是在沒有足夠的訓練數據的情況下，它通過自動合成新的訓練樣本來改進學習。 -
如何解決少樣本困境?「文本增強+半監督學習」雙管齊下!
本文將從「文本增強」和「半監督學習」這兩個角度出發，關注如何利用領域相關的未標註數據，解決少樣本困境。本文從「文本增強」和「半監督學習」這兩個角度出發，談一談如何解決少樣本困境。正式介紹之前，我們首先需要思考什麼才是一種好的解決少樣本困境的方案？本文嘗試給出了三個層次的評價策略，我們希望採取相關數據增強或弱監督技術後：1. 在少樣本場景下，比起同等標註量的無增強監督學習模型，性能有較大幅度的提升2. -
深度學習黑客競賽神器:基於PyTorch圖像特徵工程的深度學習圖像增強
Screenshot-from-2019-11-26-13-17-05translation超參數定義圖像應移動的像素數。這裡，我把圖像移了（25，25）個像素。您可以隨意設置此超參數的值。圖像有不同的來源。因此，每個來源的圖像質量都將不同。有些圖像的質量可能很高，而另一些則可能很差勁。在這種情況下，我們可以使圖像模糊。那將有什麼幫助？好吧，這有助於使我們的深度學習模型更強大。讓我們看看我們如何做到這一點。 -
NETFLIX推出「純音訊模式」新功能!一鍵關閉影像超方便,節目、影集...
2020年隨著影音串流平臺的蓬勃發展，許多業者都因應市場推出更多新功能，而其中NETFLIX在今年除了推出防誤觸的屏幕鎖定、與開放調整播放速度外，更在年底開始悄悄測試「純音訊模式」，讓用戶也可以用「聽」的來追劇啦！ -
Adobe推出免費Adobe XD起步方案,加快體驗設計問世
經由此次推出的方案和新功能與升級的推出，Adobe XD 成為唯一結合設計與建立原型功能與提供工業級效能的跨平臺體驗設計平臺。Adobe Creative Cloud 產品長暨執行副總裁 Scott Belsky 表示：「在設計產業，用戶體驗設計（UX）是成長最快的領域之一。全新的起步方案將協助實現 Adobe 的願景，無論是新進藝術家或企業品牌，皆無需投入任何資金，即可擁有設計與提供優越數字體驗所需的一切工具，探索迅速擴展中的使用者體驗領域。」 -
...AI 研究院提出新的數據增強算法,比谷歌大腦的 AutoAugment 更...
數字「3」的原始形式和應用了基本的數據增強技術的結果最近，谷歌已經能夠通過使用 AutoAugment（一種新型的自動數據增強技術，https://arxiv.org/abs/1805.09501）在諸如 CIFAR-10 之類的數據集上達到目前最高的準確率。 -
特斯拉的增強版「召喚功能」,不再是遙控車這麼簡單了
據悉，在最新的 OTA 版本 2019.20.4.5 中，特斯拉發布了一個全新的「待命模式（Standby Mode）」，進一步推出增強版召喚模式（Enhanced Summon），可以讓車主在停車場可以更快地將車輛召喚過來。這個功能雖然不能像自動駕駛一樣吸引人，但從用戶體驗上來看，這確實能解決痛點，給用戶帶來方便。 -
基於深度學習的AFM圖像解析度增強方法
該方法利用深度卷積神經網絡，實現對單張AFM低解析度形貌圖的細節增強。深度卷積神經網絡是一種基於大量樣本的機器學習方法，訓練後的神經網絡可以僅利用單張圖片實現解析度的提高。文中測試了該方法對單種/多種材料的AFM形貌圖的適用性，結果表明，該方法很有希望作為一種普適方法應用於AFM圖像後處理之中。 -
「軟體下載」Adobe Photoshop CC 2017 (18.1.1.252) 茶末餘香增強版
茶末餘香版特性說明(在保證完整功能的情況下進行增強，軟體本體未作任何精簡)集成增強濾鏡：Alien Skin 系列濾鏡Flaming Pear 系列濾鏡Neat Image 7.6系列濾鏡 Only x86Kodak 系列濾鏡 Only x86Noise Ninja 2.4.2 濾鏡 Only x86RepaintMyImage Only x86Ardfry PSD Codec 1.6.1 顯示PSD縮略圖插件XnShelEX 3.5.1 右鍵圖像預覽編輯插件 -
Matlab圖像增強與復原技術在SEM圖像中的應用
圖像質量是當今研究的熱點。圖像增強與復原是一種基本的圖像處理技術。其按照特定的需要突出一幅圖像中的某些信息或強化某些感興趣的特徵，將原來不清晰的圖片變得清晰，使之改善圖像質量和豐富信息量，提高圖像的視覺效果和圖像成分的清晰度，加強圖像判讀和識別效果的圖像處理的方法。 -
今日Paper | 小樣本學習;機器學習;單幅圖像去霧 ;零樣本目標檢測等
from=leiphonecolumn_paperreview0212推薦原因這篇論文研究的是小樣本學習，也就是如何在每個類別只有幾個、甚至一個樣本的情況下學習如何分類。現有的基於指標的小樣本分類算法，都是通過一個學習到的指標函數，把要預測的樣本的特徵嵌入和給定的樣本進行對比。 -
Keras 常用的圖像增強方式
為了緩解這個問題，我們可以通過做一些修改手動增加數據，或者我們可以使用一個 Keras 圖像預處理類，只需幾行代碼就可以做到這一點。在這篇文章中，我們將看到在使用 Keras 開發和評估 Python 中的深度學習模型時，如何使用圖像數據集進行數據準備和數據增強。1. 關於Keras提供的圖像增強API以及如何在模型中使用它。 -
2020「水下目標檢測算法賽」賽題解析——聲學圖像
聲學圖像在水下目標檢測中探程遠、實用性強，針對「聲學圖像目標檢測」賽項，鵬城實驗室專門開設了 2 期在線直播課程，先後請到上海達華測繪有限公司專家李太春老師和河海大學、水下信息感知技術研究中心副主任霍冠英老師，為參賽者和算法愛好人士提供深入淺出的專業講座。 -
用於半監督語義分割的基於掩碼的數據增強
實驗結果表明，作者的方法在標準數據集的語義圖像分割方面優於最先進的方法。本文提出的方法屬於對無監督混合樣本進行一致性預測的範疇。作者提出了一種更有效的基於掩碼的分割地圖擴展策略，稱為ComplexMix，以解決半監督語義分割問題。作者假設在增加語義上正確的增廣的複雜性中有附加價值，因此試圖產生語義上正確的複雜增廣。 -
文本增強、半監督學習,誰才是 NLP 少樣本困境問題更優的解決方案?
本文從「文本增強」和「半監督學習」這兩個角度出發，談一談如何解決少樣本困境。正式介紹之前，我們首先需要思考什麼才是一種好的解決少樣本困境的方案？因此，我們是否可以考慮引入標籤信息來引導數據生成呢2、條件增強定義：所謂條件增強（Conditional Data Augmentation），就是意味著需要強制引入「文本標籤」信息到模型中再產生數據。 -
谷歌ARCore 推出一項新功能,僅用單目相機就可獲取深度圖像
Android增強現實（AR）取得重大進步，近日谷歌正在為開發工具包ARCore添加Depth API，這項新功能僅用單個攝像頭就可以創建深度圖，而不像之前需要從兩個攝像頭或ToF傳感器。當移動攝像頭時，它會自動捕捉多個圖像，然後比較這些圖像來估計你與每個像素的距離。 -
圖像增強 | 直方圖均衡化
數字圖像處理在40多年的時間裡，迅速發展成一門獨立的有強大生命力的學科，圖像增強技術已逐步涉及人類生活和社會生產的各個方面。圖像增強在工業生產的自動化設計和產品質量檢驗中得到廣泛應用，比如機械零部件的檢查和識別、印刷電路板的檢查、食品包裝出廠前的質量檢查、工件尺寸測量、集成晶片內部電路的檢測等等。在社會安全管理方面，圖像增強技術的應用也十分廣泛，如無損安全檢查、指紋、虹膜、掌紋、人臉等生物特徵的增強處理等等。 -
打開你的腦洞:NER如何進行數據增強 ?
、數據質量更高。》（連結：https://zhuanlan.zhihu.com/p/146777068）一文中也詳細總結過這個問題，先來看一張總結圖：但是，目前來看：大多數「數據增強」方法通常被用於文本分類、文本匹配等任務中，這類任務有一個共性：是「句子級別」（sentence level）的分類任務，大多數關於「文本增強」的研究也都針對這個任務。 -
圖像分類比賽中,你可以用如下方案舉一反三
Aarhus 大學信號處理研究小組與南丹麥大學合作，發布了一個用於該任務的數據包，其中包括處於不同生長階段的 12 個物種（共計 960 種植物）的圖像。[1][2]植物樣本之一：「繁縷」樣本這個公開的資料庫由注釋的 RGB 圖像組成，其物理解析度大約為每毫米 10 像素。 -
搭配小米11,即將發布的小米「WiFi 6增強版」路由器增強了什麼?
與此同時，搭配小米11同時發布的「WiFi 6 增強版」路由器的消息也引起了筆者的關注。25日早上，小米CEO雷軍發布微博稱：發布會將同時推出一款「WiFi 6 增強版」高端路由器 AX6000 ，「速度高達6000兆，快到飛起來」。