雷剛 發自 凹非寺量子位 報導 | 公眾號 QbitAI
暗光拍照也清晰，這是手機廠商目前激烈競爭的新拍照目標。
但除了堆攝像頭和硬體，AI科學家帶來算法方面的新突破。
他們提出基於深度學習優化光照的暗光下的圖像增強模型，用端到端網絡增強曝光不足的照片。
而且不是像以前的工作那樣，直接學習圖像到圖像的映射，而是在新網絡中引入中間照明，將輸入與預期的增強結果相關聯，增強網絡從專家修飾的輸入/輸出圖像學習複雜的攝影調整的能力。
結果證明，新算法模型，效果超過了市面上一眾當紅的多攝多硬手機。
這個新算法由騰訊優圖實驗室提出，王瑞星、沈小勇及賈佳亞是作者，論文已入選CVPR 2019.
傳統圖像增強算法不好用
優圖方面稱，人們在社交網絡中，往往喜歡分享自己用不同設備拍攝的照片，尤其是使用手機拍攝的照片，不過很多時候，由於低光照或者背光的環境下拍攝到的照片經常會產生欠曝光的現象，由於在圖像增強的整個過程不是線性的操作，並且增強的結果是很主觀的，因此欠曝光圖像增強是一個很具有挑戰性的任務。
雖然目前市面上存在了一些專業的圖像處理軟體，可以讓用戶交互式的處理圖像，如Adobe lightroom, PhotoShop。但是對於業餘愛好者來說，能同時處理好顏色，對比度，調節光照等操作是非常困難的。
也有一些軟體提供了一鍵自動的增強圖像的功能，比如Lightroom的Auto Tone功能和iPhone的魔法棒增強功能，但是由於平衡各方面的調整是非常複雜的一件事。
這些軟體依然會得到一些失敗的案例。
傳統夜景圖像增強算法大致可以分為幾個方面：直方圖均衡化(Histogram equalization)，這種方法簡單的利用了圖像整體的統計性質，通常不能對複雜場景達到理想效果。
基於Retinex理論的增強算法，通常只能用單通道進行光照優化，顏色無法很好地回復，在光照複雜的情況下還容易出現過曝的現象。
這些傳統方法還容易在增加圖像亮度的同時，放大噪聲等瑕疵，影響圖像質量。
基於深度學習的方法，通常是直接訓練回歸(regression)模型，由於數據本身的特性，這種方法得到的結果通常清晰度、對比度比較低，而且會有一些人工痕跡。
轉換方法+網絡結構設計
對此，騰訊優圖將圖像增強問題，轉化為光照優化問題。
之前的神經網絡都是從訓練數據，學習原始圖像到清晰圖像之間的回歸映射。
優圖則是希望通過神經網絡學習出中間結果圖像的光照圖（illumination）, 進而再通過輸入圖像和光照圖的關係，得到增強後的圖片。
與幾個具有代表性的商業軟體效果對比：
具體方面及網絡結構：
在網絡結構的設計方面，本方案採用創新的雙分支的網絡結構。
網絡分成了全解析度分支和低解析度分支。其中低解析度分支用於學習到全圖光照的整體信息，低解析度圖像的使用，有助於增大網絡感受野，提高算法速度。
低解析度分支的結果將會傳遞給高解析度網絡分支，用於重建全解析度下的亮度圖，並最終得到增強後的圖像。
此外，優圖設計的新的損失函數，包括：圖像重建損失、光照局部平滑損失以及顏色損失，進一步幫助騰訊優圖的網絡產生更加穩定、清晰、顏色真實鮮豔的結果。
得益於雙分支網絡的設計，以及全解析度分支中的雙邊上採樣模塊的設計，本方法可以在保證效果的同時，在GPU上對於高解析度圖片（例如：3000x2000）進行實時的增強。
實現細節如下：
夜景圖像增強的任務中，一個難點是難以獲取到成對的增強前後的訓練圖像。在該項目中，優圖使用了MIT-Adobe 5K數據集，該數據集包含了5000組原始圖片和專業美工調節後的圖像。
此外，為了適應光照程度更加複雜的場景，優圖自行採集數千組高清暗光照片作為訓練數據。由此構建出的數據集，使得本算法在複雜光照下，也能得到穩定結果。
對於上邊描述的深度神經網絡結構，優圖利用對應的暗光和清晰圖片進行網絡的訓練。因為卷積網絡不限制輸入圖片的大小，研究人員隨機從圖片中截取256x256尺寸大小的圖片塊進行網絡訓練來更好地利用GPU顯存。訓練好的模型可以利用在任何尺寸的圖片上。
除了對於欠曝光圖像增強外，優圖對於一些市面上常見的手機（華為P20, 小米MiX3, iPhoneX, 三星S9+）拍攝的結果，利用新算法也進行了進一步的美化，效果圖如下：
論文傳送門
Underexposed Photo Enhancement using Deep Illumination Estimation
《基於深度學習優化光照的暗光下的圖像增強》
http://jiaya.me/papers/photoenhance_cvpr19.pdf
One more thing
不過，近日騰訊優圖最受熱議的還有一樁AI公益的案例。
央視欄目《等著我》報導稱，優圖突破「跨年齡人臉識別」，幫助警方尋回了被拐十年兒童。
優圖方面介紹，這是優圖創新性技術在公益領域的成果。
依託騰訊海量數據，騰訊優圖首創了跨年齡人臉識別技術，重點解決尋人場景中嬰幼兒被拐的情況。
為了充分的從數據中學習人臉自然的跨年齡變化規律，騰訊優圖提出了基於DDL（分布式蒸餾學習法則）學習策略的正則化遷移學習策略。
基於該策略，算法模型可充分進行跨年齡人臉識別學習，從而讓困難的跨年齡識別更加可靠和精準。
騰訊方面稱，這是對「科技向善」的最好實踐。