人類進入智慧型手機時代後,攝影方式也發生了巨大變化:用來拍照的不再只是鏡頭和傳感器了,背後還加載著一系列的圖像算法,它可以用更快的速度處理圖像,並獲得更好的拍攝效果。
好作品只能依賴專業攝影師的時代過去了,圖像算法引入到手機拍照應用後,讓人人拍出好照片成為可能。
紫光展銳擁有自主研發的圖像算法團隊,而且這些算法已普遍應用在展銳的晶片平臺裡。目前,展銳的圖像算法團隊已經超過了200人,分布在美國、印度、中國臺灣、上海和北京等多個國家和地區。
更好的手機拍照效果需要圖像算法的加持,為了讓大家有更好的了解,接下來的系列,我們準備了幾篇科普、視頻和圖說,一起來看看吧～～～
這事得從人類對色彩的感知能力說起…
人類對色彩的感知能力是漫長進化過程中產生的一項重要能力,它使得我們眼中的世界五彩斑斕。顏色是怎麼呈現出來的呢?它是光線通過眼睛成像到視網膜上,由視網膜上的視細胞感知光信號的強弱,視覺神經對信號的傳播,再由大腦處理所產生的視覺感受。顏色的產生極其複雜,人類所獲得的色彩感受不但取決於光的物理特性,還受心理等因素影響。
首先,我們先來了解一下顏色的物理特性。肉眼所見到的光線(一般波長範圍是380-780nm,見圖1),是電磁波譜中人眼可以感知到的部分,不同波長的可見光表現為不同的顏色,對色彩的辨別是肉眼受到可見的電磁波輻射能刺激後引發的視覺神經感覺。
圖1:可見光波長及其對應的顏色
人眼中對光敏感的細胞分為兩類:視杆細胞和視錐細胞。其中,視杆細胞對弱光線最敏感,光譜響應範圍覆蓋整個可見光區域,在500nm附近達到相應的峰值,但無法區分不同的波段的光線,因此無法產生色覺。在非常低的光照水平下,這樣的視覺叫做暗視覺,暗視覺僅視杆細胞在工作。所以在黑暗的夜晚,人們能看到物體,卻分辨不出物體的顏色。
在高光照水平下,主要工作的是視錐細胞,有色覺,這樣的視覺叫明視覺。視錐細胞分為三類:感紅細胞(L) 、感綠細胞(M)和感藍細胞(S)。對同一波長的光線,不同的視錐細胞有不同的響應能力(見圖2),因此視錐細胞具有顏色的辨別能力。
圖2:三種視錐細胞對光的響應能力
光源發射某一光譜分布的電磁波,經過物體的反射或者透射進入人眼,再通過視錐細胞對光線的探測,這整個過程涵蓋了顏色的物理屬性。顏色同時受到人們的心理、現實經驗等因素的影響,某個場景的光在視細胞產生的信號並不等於人們對這個場景的感受。例如,一張白紙不管在紅色還是綠色燈光下,人眼看起來都會覺得這是一張白紙,這來源於大腦的經驗處理,這種現象叫做顏色恆常性。
可以說,你看到的景色都是經過大腦處理加工過的,眼見並不一定為實哦～
圖像算法最大的用途是可以修復照片,使拍攝到的照片獲得真實的色彩效果,或者滿足用戶的某些色彩偏好。
【自動白平衡】
在展銳的ISP(Image Signal Processing)系統裡,主要有自動白平衡(AWB)和顏色校正(CCM)模塊來處理色彩。
先看自動白平衡,ISP系統需要根據圖像的統計信息,計算出圖像R、B channel的增益,以實現自動白平衡功能,以求在各種複雜場景下均能準確還原物體本來的顏色。因為人類視覺系統具有顏色恆常性的特點,對事物的觀察可以不受光源的影響,但圖像傳感器不具有這個特點,因此在不同光線下拍攝的圖像,會呈現出不同的顏色。比如,在晴朗的天空下拍攝的圖像可能偏藍,而在燭光下拍攝的物體可能偏紅。
自動白平衡功能,就是模擬了人類視覺系統的顏色恆常性特點,來消除光源對圖像成像的不良影響。
圖3 :左邊是自動白平衡功能關閉,右邊是自動白平衡開啟
紫光展銳的自動白平衡算法具有以下特點:
效果穩定性好:所謂效果穩定性,指的是拍照場景發生細微改變時,圖像色彩效果不會出現明顯跳變。
準確度高:展銳的算法在處理絕大部分場景時,都能得到符合預期的結果,尤其是用戶關心的藍天、綠植、人物等等重點場景和混合光源、純色、夜景等難點場景。
適用範圍廣、靈活性好:展銳的算法既可以運行在入門級相機設備上(如30萬像素的手錶項目)上,也可以運行在中高端相機設備上(如3200萬像素以上的手機項目),還可以應用到車載記錄等物聯網領域中。而且,不同產品,展銳的自動白平衡算法可以實現靈活配置,實現算法效果、算法複雜度、內存消耗等多樣化的分級需求。
【顏色校正】
相機實際是在模擬人眼的彩色成像來拍圖,由於相機傳感器的RGB三通道的光譜響應與人眼中視細胞的光譜響應(見圖2)不同,導致其拍攝的圖片與人眼看到的有差別,因此需要進行顏色校正(Color Correction Matrix,CCM)。
顏色校正矩陣一般通過標定得到,利用圖像傳感器拍攝得到的圖像與標準圖像相比較,計算得到校正矩陣(即CCM矩陣)。利用CCM矩陣對圖像的各像素點的進行驗收校正,以獲得最接近於物體真實顏色的圖像。
一般情況下,在顏色校正過程中,都會伴隨有顏色飽和度的調整。顏色飽和度是指色彩的純度,其色彩的純度越高,圖像表現越鮮明;純度越低,表現就越黯淡。
圖4 :左邊是CCM關閉,右邊是CCM開啟
圖5:展銳CCM模塊的色彩還原效果評測(圖中18個小圓點和小方點越接近,則表示色彩還原性越好)
隨著機器學習等高新技術的發展,以及用戶對手機拍照功能的需求日益苛刻,色彩還原技術也會面臨一些新的機遇和挑戰,例如如何利用AI技術提升色彩還原效果,如何在多攝像頭手機上實現更加一致的色彩還原。這些附加技術將給用戶帶來更好的手機拍照體驗,進而持續提升公司產品的競爭力。