Google的Pixel手機自進入Pixel 2後,以獨特的Visual Core與AI技術顛覆單相機鏡頭影像的極致,而後續的Pixel 3家族更在多鏡頭旗艦機強敵環伺下仍有出色的影像表現,自然的低照度拍攝、單鏡頭散景即便面對有更複雜硬體的機型甚至更為傑出,最近更以更平價的Pixel 3a家族以AI攝影技術使其足以以下犯上,挑戰高端機型。
軟體定義為既有硬體帶來創新與突破
Google傑出工程師Marc Levoy,他擁有資深數碼影像技術背景、同時也是VMWare創辦人暨史丹福大學電腦科學榮譽退休教授,他開宗明義的指出,Pixel手機的影像技術是顛覆過往的硬體定義相機,並轉化至軟體定義相機的科技結晶。
Pixel手機的做法是打破過往靠固定功能硬體的做法,藉由計算攝影與連拍,透過高效率的機器學習技術取代傳統算法,以Google的巨量資料作為基礎,配合Google的機器學習建立模型,在當代高性能的Pixel手機實現驚人的演算,同時Google也不藏私的將影像技術對外分享,藉此驅動創新與吸引更多人才。
Marc Levoy指出,在手機上的相機應用程式需要符合幾項基本原則:執行需要迅速,默認模式不能失敗,重現消費者在攝影遇到的特殊情況,與在特殊模式下可接受偶發的失敗。在即時速度的要求,即時監看的資訊需要高於15fps,快門延遲需要低於150ms,成像時間需低於5秒內。
結合連拍與AI的先進HDR+
在過往相機的HDR技術仰賴曝光定標試驗做法,此技術是藉由捕捉不同曝光程度影像,並將多重影像加以疊合,實現從低光到高光皆清晰、細節清楚的影像,然而這項作法卻因為需要精確的影像疊合,在缺乏三腳架與手機晃動的情形難以成功拍出HDR影像。
而在Pixel 3+的做法則是改變捕捉不同曝光的照片進行合成,以曝光不足、相同曝光的連拍影像作為基礎,如此一來影像更為相似也容易校準,並且能夠具備更吃惡的信號噪聲比(SNR)與減少陰影的噪聲,同時利用色調映射(Tonemap)強化陰影、降低亮處,雖會犧牲整體色調與對比,但能保留局部對比。借突破的概念,也讓Pixel手機的HDR+影像拍攝的成功率與影像品質超越傳統HDR模式。
結合機器學習與雙像素技術的單鏡頭肖像模式
由於手機先天感光元件尺寸,若以硬體定義相機技術,難以拍出如專業相機的景深,而肖像模式就是當代手機所使用的方式;在初期為了實現肖像模式,過往使用雙鏡頭先在相似焦點捕捉兩個影像,透過立體匹配演算計算深度,接著選擇一個平面作為保留銳利的基準,最終模糊基準外的影像,不過如此一來會增加硬體複雜度,並且還需要處理雙鏡頭的資訊。
然而僅有單鏡頭的Pixel手機則是透過機器學習作為基礎,在主鏡頭結合雙像素對焦元件取得深度資訊,而前鏡頭則是透過機器學習而來的影像分析,仍可實現單鏡頭的肖像;Google透過卷積神經網絡預估圖像中每個像素的人物,以超過百萬張標籤過的人物與配件進行培訓,使AI模型能夠在影像中框出人像輪廓。
以AI技術實現出色的高解析變焦
過往手機由於僅有單焦點單鏡頭設計,故要拍攝遠處的影像,只能透過數碼變焦、也就是數碼裁切的方式,但如此一來等同只是對影像進行局部裁切,畫質也會隨之下降,Google雖未在Pixel的高解析變焦使用AI相關技術,然而藉由高速連拍技術合成更高畫素影像,使其可媲美當前具備2倍鏡頭的機型。
其中的關鍵,就是當代數位相機元件所使用的拜耳陣列結構,透過矩陣中配置R、G與B組合構成影像,當手持進行高速連拍時,將原始、水平、垂直、與水平與垂直同時位移的四張影像結合,可藉由連拍之後將多張影像的顏色資訊相互填補,並透過顏色資訊重建方式,提升高解析度,若在完美不搖晃的環境,則反過來利用防手振技術製造手振使像素偏移。
將黑暗化為白晝的夜拍模式
Google的夜視模式也仍是基於高速連拍的技術結晶,按下快門後,高速捕捉達15張的影像,另外會根據手振程度與偵測畫面中是否有動體評估拍攝時間,有晃動就會延長取景時間,反之則縮短。而自Pixel 3則在此為基礎之上,再導入高解析變焦功能的技術概念,最終結合學習式白平衡調整色調。
夜視技術的出發點是為了實現在人眼難以辨識甚至不可見、但仍真實存在且具備色彩的夜間景物,Google透過古典畫作的三大特徵,以強化對比、將陰影投射為黑色與透過黑暗環繞場景作為原則,並透過色調映射還原色彩,以古典畫作為師呈現出色的夜拍模式。
少了VisualCore的Pixel 3a與Pixel 3僅有速度差異
或許會有消費者認為在少了VisualCore後,Pixel 3a的影像表現會有所差異,不過Marc Levoy拍胸掛保證,除了少了VisualCore帶來的處理高效率外,由於相機相同,AI模型相同,Pixel 3a系列僅有處理速度較慢,影像品質不會有差異。