解析Google Pixel相機原理Pixel 3單鏡頭相機為什麼這麼強?

2021-01-09 3C科技生活新知

Google的Pixel手機自進入Pixel 2後,以獨特的Visual Core與AI技術顛覆單相機鏡頭影像的極致,而後續的Pixel 3家族更在多鏡頭旗艦機強敵環伺下仍有出色的影像表現,自然的低照度拍攝、單鏡頭散景即便面對有更複雜硬體的機型甚至更為傑出,最近更以更平價的Pixel 3a家族以AI攝影技術使其足以以下犯上,挑戰高端機型。

軟體定義為既有硬體帶來創新與突破

Google傑出工程師Marc Levoy,他擁有資深數碼影像技術背景、同時也是VMWare創辦人暨史丹福大學電腦科學榮譽退休教授,他開宗明義的指出,Pixel手機的影像技術是顛覆過往的硬體定義相機,並轉化至軟體定義相機的科技結晶。

Pixel手機的做法是打破過往靠固定功能硬體的做法,藉由計算攝影與連拍,透過高效率的機器學習技術取代傳統算法,以Google的巨量資料作為基礎,配合Google的機器學習建立模型,在當代高性能的Pixel手機實現驚人的演算,同時Google也不藏私的將影像技術對外分享,藉此驅動創新與吸引更多人才。

Marc Levoy指出,在手機上的相機應用程式需要符合幾項基本原則:執行需要迅速,默認模式不能失敗,重現消費者在攝影遇到的特殊情況,與在特殊模式下可接受偶發的失敗。在即時速度的要求,即時監看的資訊需要高於15fps,快門延遲需要低於150ms,成像時間需低於5秒內。

結合連拍與AI的先進HDR+

在過往相機的HDR技術仰賴曝光定標試驗做法,此技術是藉由捕捉不同曝光程度影像,並將多重影像加以疊合,實現從低光到高光皆清晰、細節清楚的影像,然而這項作法卻因為需要精確的影像疊合,在缺乏三腳架與手機晃動的情形難以成功拍出HDR影像。

而在Pixel 3+的做法則是改變捕捉不同曝光的照片進行合成,以曝光不足、相同曝光的連拍影像作為基礎,如此一來影像更為相似也容易校準,並且能夠具備更吃惡的信號噪聲比(SNR)與減少陰影的噪聲,同時利用色調映射(Tonemap)強化陰影、降低亮處,雖會犧牲整體色調與對比,但能保留局部對比。借突破的概念,也讓Pixel手機的HDR+影像拍攝的成功率與影像品質超越傳統HDR模式。

結合機器學習與雙像素技術的單鏡頭肖像模式

由於手機先天感光元件尺寸,若以硬體定義相機技術,難以拍出如專業相機的景深,而肖像模式就是當代手機所使用的方式;在初期為了實現肖像模式,過往使用雙鏡頭先在相似焦點捕捉兩個影像,透過立體匹配演算計算深度,接著選擇一個平面作為保留銳利的基準,最終模糊基準外的影像,不過如此一來會增加硬體複雜度,並且還需要處理雙鏡頭的資訊。

然而僅有單鏡頭的Pixel手機則是透過機器學習作為基礎,在主鏡頭結合雙像素對焦元件取得深度資訊,而前鏡頭則是透過機器學習而來的影像分析,仍可實現單鏡頭的肖像;Google透過卷積神經網絡預估圖像中每個像素的人物,以超過百萬張標籤過的人物與配件進行培訓,使AI模型能夠在影像中框出人像輪廓。

以AI技術實現出色的高解析變焦

過往手機由於僅有單焦點單鏡頭設計,故要拍攝遠處的影像,只能透過數碼變焦、也就是數碼裁切的方式,但如此一來等同只是對影像進行局部裁切,畫質也會隨之下降,Google雖未在Pixel的高解析變焦使用AI相關技術,然而藉由高速連拍技術合成更高畫素影像,使其可媲美當前具備2倍鏡頭的機型。

其中的關鍵,就是當代數位相機元件所使用的拜耳陣列結構,透過矩陣中配置R、G與B組合構成影像,當手持進行高速連拍時,將原始、水平、垂直、與水平與垂直同時位移的四張影像結合,可藉由連拍之後將多張影像的顏色資訊相互填補,並透過顏色資訊重建方式,提升高解析度,若在完美不搖晃的環境,則反過來利用防手振技術製造手振使像素偏移。

將黑暗化為白晝的夜拍模式

Google的夜視模式也仍是基於高速連拍的技術結晶,按下快門後,高速捕捉達15張的影像,另外會根據手振程度與偵測畫面中是否有動體評估拍攝時間,有晃動就會延長取景時間,反之則縮短。而自Pixel 3則在此為基礎之上,再導入高解析變焦功能的技術概念,最終結合學習式白平衡調整色調。

夜視技術的出發點是為了實現在人眼難以辨識甚至不可見、但仍真實存在且具備色彩的夜間景物,Google透過古典畫作的三大特徵,以強化對比、將陰影投射為黑色與透過黑暗環繞場景作為原則,並透過色調映射還原色彩,以古典畫作為師呈現出色的夜拍模式。

少了VisualCore的Pixel 3a與Pixel 3僅有速度差異

或許會有消費者認為在少了VisualCore後,Pixel 3a的影像表現會有所差異,不過Marc Levoy拍胸掛保證,除了少了VisualCore帶來的處理高效率外,由於相機相同,AI模型相同,Pixel 3a系列僅有處理速度較慢,影像品質不會有差異。

相關焦點

  • Google Pixel 不缺大神,只缺心眼
    要知道,從第一代 Google Pixel 到 Google Pixel 3,相機和拍照一直都是 Pixel 產品的核心亮點,廣受業界認可,具體來看:第一代 Pixel 憑藉專門優化的 HDR+ 技術獲得了 89 分的 DXO 拍照評分,憑藉單攝拿下第一名;第二代 Pixel 的 DXO 拍照評分為 98 分,再次憑藉單攝拿下第一名
  • 從iPhone和Pixel 博弈,聊聊手機計算攝影的發展史
    更創新的是,如果使用三腳架,沒有手部運動的情況下,Pixel 3 會自動讓鏡頭的光學防抖組件進行規律的運動,以造成微小的偏移。 總之,單攝識別率當時基本上依然是世界第一,但沒有打過配有 ToF 測距的手機。 Pixel 3 的機器學習深度推算
  • 雙攝像頭浪潮 榮耀V8雙攝像頭原理起底
    那麼它的成像原理是什麼,相對於單攝像頭的方案又有什麼優勢呢?我們在此簡單分析一下。而黑白 sensor 的 pixel size(單像素尺寸) 是彩色sensor的 3~4 倍,原因是在彩色sensor中,每一個彩色pixel又會被分為四份,分別用於抓取R、G、B三種原色,而黑白sensor的每個pixel要麼是黑、要麼是白,即單個pixel只有黑或白一個選擇。從顏色的pixel size上看,黑白sensor的單個色彩感光面積是彩色sensor的3到4倍。
  • 谷歌Pixel 3和Pixel 3 XL擁有最好的相機之一,並且軟體流暢
    該盒子還包括一個USB Type-C到3.5mm加密狗,用於有線耳機和一個USB Type-A到Type-C適配器。相機背面的Pixel 3相機仍然是單人射擊遊戲,但今年前面有兩個攝像頭。前置攝像頭均為800萬像素傳感器,配有普通和廣角鏡頭。
  • 告別單攝 谷歌相機代碼洩天機:Pixel 4將配備長焦鏡頭
    從2016年第一代Pixel系列發布時,谷歌就展現出了他在相機調教方面的優勢。從Pixel 1到Pixel 3,谷歌連續三代產品都配備單攝像頭,並且在DxOMark排行榜上獲得高分。以Pixel 3為例,該機DxOMark評分達到了101分,是迄今為止綜合素質最優秀的單鏡頭手機(與iPhone XR並列第一)。如今在Pixel 4上,谷歌打破了單鏡頭慣例。7月5日消息,據XDA報導,開發者在Google Camera 6.3版本中發現了關於Pixel 4的線索。
  • Google PIXEL 3手機相機試用評測,目前市面上手機相機最好的產品
    谷歌的pixel2可以說是被大家公認為在智慧型手機這個領域中相機最好的手機之一了,而他的下一版pixel3也是這樣的一個情況,它所採用的一個完全相同的這樣一個方式,依靠這一個軟體的處理方式而不是硬體也是,所以谷歌並沒有增加一些更多的後置的攝像頭
  • 谷歌Pixel 4配置全曝光!這外觀估計90%以上的人受不了
    早些時候,一份關於Pixel 4的規格配置意外流出,和先前坊間所預測的一樣,這份規格表提到:Pixel 4個Pixel 4L兩款機型將會搭載驍龍855處理器,並擁有6GB的RAM和90Hz的屏幕刷新率;兩款機型的不同主要體現在尺寸(分別為6.3吋和5.7吋)和電池容量(分別為3700mAh和2800mAh);在快閃記憶體規格上,兩款機型都會提供6GB和12GB的快閃記憶體容量選擇。
  • Google Pixel XL相機評測:顯示屏非常出色,具有良好的清晰度
    就技術相機規格而言,與去年的Nexus設備相比,沒有太大變化。1 / 2.3「12MP傳感器與F2.0光圈配對,但不提供光學圖像穩定性。但是,谷歌已經在軟體方面發揮了作用,並添加了一個新的基於陀螺儀的視頻穩定系統,可以讀取陀螺儀數據200每秒的時間,以實現更平滑的平移和無抖動的手持視頻錄製。
  • 一文詳解線陣相機
    ,縱向為19000pixel, 1秒鐘取得的這幅圖像大小大概為160M還有就是像元的大小和鏡頭的尺寸。線陣相機的應用領域,主要為連續的生產線(web),比如鋼鐵冶金,有色金屬,電子素材,紡織,造紙,LCD等等,也可以說面陣相機可以應用的領域線陣相機也都可以完成,但是就是成本問題了。我舉一個實例說明吧, 這裡先舉一個單目相機實例。
  • 相機像素尺寸和成像系統解析度之間,有什麼關係?
    過高的光學解析度如果沒有足夠精細的圖像解析度來體現,則實際解析度會降低到圖像解析度以下;如果相機解析能力過高但光學系統的解析度低,同樣也看不清物體的精細結構。 所以在選擇相機的時候,我們也不妨根據自己這套系統需要達到的解析度來綜合考慮一下。
  • 跨境營銷指南 l 什麼是Pixel,如何創建Pixel?
    需要注意的是,平臺站像亞馬遜,速賣通等是無法添加pixel在店鋪後臺的。所以也會失去很多珍貴的廣告投放數據。這也是為什麼我們一直倡導獨立站與平臺站並行的原因之一。Facebook Pixel新建&授權今天的課程分為5部分~1. 創建Pixel2. 安裝Pixel3.
  • 單鏡頭的新iPhone SE,如何拍出iPhone11Pro 三鏡頭人像模式?
    而近日, Halide Camera相機應用的開發者為我們介紹了新iPhone SE鏡頭的一些技術細節,到底為什麼跟iPhone 8一樣只有一個鏡頭模組,但卻可以做到如iPhone 11 Pro三個鏡頭一樣的人像模式拍攝呢?讓我們一起來了解一下。
  • Google刪除Pixel 5和4a 5G的廣角鏡頭天文攝影模式
    Google刪除Pixel 5和4a 5G的廣角鏡頭天文攝影模式 站長之家(ChinaZ.com)12月30日 消息:此前,Google在推出Pixel5和4a5G
  • 谷歌Pixel相機評測匯總:不輸iPhone7與S7
    說到谷歌Pixel的相機,紙面上的數據並不好看,1200萬像素、f/2.0的光圈、沒有光學防抖……值得一提的或許只有IMX378這顆CMOS,不過這樣一款硬體平庸的相機居然拿到了DxOMark對於行動裝置史無前例的高分,可見谷歌或許也在像蘋果一樣悶聲搞算法了……
  • 谷歌相機8.1版本在Pixel 5/4a上禁用超廣角天文攝影:老版本可以...
    不知道從什麼時候開始,手機圈的相機大戰拉開了序幕,從單一的大底,夜間拍攝、再到現如今的多鏡頭多焦段拍攝,這兩年手機相機的實力現在是越來越強了。手機相機能有今天的成績一方面要歸功於CMOS廠商,另一方面算法也是非常重要的。這移動端相機算法中,谷歌一直是第一梯隊。谷歌相機一直以來就是目前安卓端算法最優秀的相機APP,不少非Pixel用戶都爭相使用就可見一斑。
  • 凸透鏡成像應用之相機拍照(一)定焦鏡頭相機
    學過凸透鏡成像規律的同學對這張圖一般不會陌生:                          這張圖在教材P78,其實這張圖有比較大的問題,他把相機鏡頭不管從原理還是結構,都是大相逕庭。如果教材用下面這種圖例,反而會更加科學,也讓同學們在理解相機成像原理上少走一些彎路。
  • Pixel 4發布(谷歌相機)!所有國產雙攝手機的福音!
    所以谷歌的Pixel系列手機有著最原生態的安卓系統,Pixel手機在系統交互性和谷歌相機算法的變化,一直以來都被定為是安卓智慧型手機的一個風向標。近日,谷歌終於發布它們今年的新款手機——Pixel 4系列。分別是:5.7英寸的Pixel 4以及6.3英寸的Pixel 4 XL。
  • 認識相機:單眼相機的成像原理簡介,帶你進一步了解相機的構造
    單眼相機的成像原理是什麼?為什麼相機的機身做得那麼大?不能減輕相機的機身碼?要明白這些問題,就要從單眼相機的原理來了解,看看它內部都是什麼樣的,看看相機是如何工作的。別只記得達蓋爾,還有其他人本篇文章簡單的解釋一下單眼相機的成像原理與內部結構。內部結構下圖為單眼相機的結構。光線通過鏡頭反射到膠片或者CMOS上,通過相應的光電信號轉換,影像留在「底片」上。
  • 谷歌Pixel 3最牛的相機也中bug了
    IT之家11月20日消息 要說有什麼能夠證明Pixel 3是Pixel 2系列的升級機型,大概接連不斷的bug能夠提供一個比較好的證明了吧。如同往年的Pixel 2系列一樣,今年的Pixel 3系列自發布以來就有大大小小的bug被曝出,包括硬體和軟體的bug。