單攝也能拍虛化照片,新 iPhone SE 是怎麼做到的?

2020-12-24 手機鳳凰網

用單攝像頭去實現虛化拍照並不是什麼新鮮事,之前的 iPhone XR 以及更早的 Google Pixel 2 都有過類似的嘗試。

蘋果新推出的 iPhone SE 也是如此,但它的攝像頭元件過於老舊,主要功勞還是在新算法上。

▲ 從左到右,分別是新 iPhone SE、iPhone 8 和 iPhone XR 的攝像頭傳感器

從 iFixit 的拆解報告可以得知,新款 iPhone SE 中的某些零部件和 iPhone 8 完全相同,甚至達到了可以互換使用的程度——其中就包括了那顆 1200 萬像素的廣角攝像頭。

「舊瓶裝新酒」的做法對 iPhone SE 而言並不稀奇,倒退回四年前,第一代 iPhone SE 也套用了 5s 的外觀和大部分硬體,只是在晶片上保持和 6s 一致,從而讓用戶能夠以更低的價格獲得旗艦機的性能體驗。

理論上,照搬相同的攝像頭硬體,兩者的拍照特性應該也不會有太大差異。比如說 iPhone 8 就不支持拍主體清晰、背景模糊的小景深照片,也就是我們常說的「人像模式」。

但查閱蘋果的支持頁面時你會發現,iPhone 8 所不支持的人像模式,卻被新款 iPhone SE 支持了——哪怕兩者都只有一顆後置鏡頭,且規格完全一樣。

正常情況下,手機拍「人像模式」這樣的虛化照片都得靠雙攝來完成——好比是人類的雙眼,兩個位置不同的鏡頭會獲取兩張不同角度的畫面,然後結合視角差估算出景深,從而實現背景虛化,保持主體清晰。

如今列表上的 Plus 系列,或是近幾年的 X、 XS 和 11 等,基本都是靠多攝系統來完成人像虛化拍攝。

那麼 iPhone 的前置單攝又是怎麼解決的?核心在於 Face ID 系統中的紅外點陣投影器,它也可以獲取足夠精準的深度數據,相當於是一顆「輔助鏡頭」。

這麼來看,iPhone SE 能拍人像模式照片就很特殊了:一來,它沒有多攝,二來它也沒有 Face ID,基本不存在硬體支持的可能性。

很顯然,蘋果在軟體層面做了些我們看不到的改動。

最近,第三方相機應用 Halide 的開發者 Ben Sandofsky 就透露了其中的技術原理,解釋為什麼新 iPhone SE 採用了和 iPhone 8 一樣的單鏡頭規格,但卻可以做到後者所無法實現的人像拍照模式。

他們表示,新 iPhone SE 很可能是「第一款只使用單一的 2D 圖像,就可以生成人像虛化效果的 iPhone」。

你可能會反駁,iPhone XR 不也是單攝拍虛化的嗎,難道 SE 不是照搬它的方案?

然而拆解的情況證明, iPhone SE 和 iPhone XR 的攝像頭並不一致,這也導致兩者在技術上存在差異。

▲ 三星 Galaxy S7 系列是首個將 DPAF 技術運用在智慧型手機攝像頭上的設備

最重要的一點,iPhone XR 的攝像頭可以使用雙像素自動對焦(DPAF)技術來獲得一定的深度數據,而不是完全只靠軟體來模擬。

簡單來說,DPAF 技術相當於將攝像頭傳感器上的像素點,分割成兩個更小的並排像素,去捕捉兩張角度不同的照片,就像是我們的左右雙眼一樣。

雖然這產生的視角差不如原生雙攝那麼明顯,但仍有利於算法去構建深度信息。

▲ Google Pixel 2、3 使用 DPAF 技術獲得的兩張視差圖,肉眼難以感知,但仍可以幫助圖像分割算法做出判斷

此前,Google 在 Pixel 2、3 上也運用了這樣的技術來實現單攝虛化。而在 Pixel 4 上,由於該機換成了多攝規格,視差探測明顯比單攝更精準。

▲ 再來看看 Pixel 4 靠兩顆攝像頭獲得的數據,視差更明顯,也能收集到更精準的數據

至於新 iPhone SE,由於它的傳感器過於老舊,Halide 稱它無法依靠傳感器來獲取視差圖,基本只能靠 A13 Bionic 晶片所提供的機器學習算法,去模擬和生成深度數據圖。

一句話解釋就是,iPhone SE 的人像虛化拍攝,完全是靠軟體和算法來實現的。

▲用 iPhone XR 和新 iPhone SE 直接對著這張照片拍攝

Halide 用 iPhone XR 和新 iPhone SE 分別拍攝了一張小狗的照片(並非實拍,只是給「一張照片」拍照),然後對比兩張圖的深度數據。

他們發現,iPhone XR 僅僅是做了簡單的圖像分割,將主體摳了出來,但並沒有正確識別出小狗的耳朵。

▲ 深度數據圖,左邊是 iPhone XR,右邊是新 iPhone SE

但在新 iPhone SE 上,配合 A13 晶片所提供的全新算法,我們則得到了一張完全不同於 XR 的深度圖。它不僅正確識別出了小狗的耳朵和整體輪廓,還針對不同遠近的背景做了分層處理。

這種深度圖並不是 100% 準確的,Halide 表示,新 iPhone SE 在拍攝非人臉題材的虛化照片時,摳圖和虛化的精準度明顯沒有拍人像時來得精準。

尤其是在一些主體和背景圖十分模糊的情況下,此時多攝像頭的優勢會更明顯些。

▲ 在這類非人臉題材,且主體和背景沒有明顯分割的場景下,新 iPhone SE 的虛化就很容易出錯

從這張圖可以看到,配備了多攝系統的 iPhone 11 Pro,不僅能將圓木上小植物輪廓完整地勾出來,而且還能對識別出背景的遠近距離,並做出分層處理。

▲ 深度數據圖,左邊是 iPhone 11 Pro,右邊是新 iPhone SE

而在新 iPhone SE 上,儘管同樣有分層處理的結果,但被攝主體和背景已經完全融在了一起,做後期虛化處理時自然會比 iPhone 11 Pro 差不少。

▲ 實際的虛化樣張,左邊是 iPhone 11 Pro,右邊是新 iPhone SE

這也是為什麼,當新 iPhone SE 使用 iOS 自帶相機應用時,只有在檢測到人臉的情況下,才能啟用「人像模式」拍虛化照片,其餘情況則會出現錯誤提示。

原因仍然和蘋果的算法有關。Halide 提及了一個名為「Portrait Effects Matte」(人像效果遮罩)的技術,主要用於在人像模式照片中尋找出精確的人物輪廓,包括邊緣的髮絲、眼鏡框等細節,然後再將主體和背景進行分割。

但目前來看,這套基於機器學習的分割技術更多是為「拍人」所準備的,它的確可以彌補 iPhone XR 、iPhone SE 這類單攝手機在視差數據上的不足,但如果拍攝對象從人物換成其它物體,算法也會出現判定錯誤。

至於像 iPhone 11 Pro 這類多攝手機,則可以直接通過攝像頭硬體來獲得視差數據,所以它們在使用自帶相機時,也能將人像模式用在非人臉場景中。

▲ 新 iPhone SE 的前置鏡頭也支持人像模式,對人臉的摳圖精度非常高,成像差異只是在散景效果上

當然,官方不支持的東西,第三方開發者還是可以拿來加以改造。如今 Halide 應用可以支持 iPhone XR、SE 拍攝小動物或其它物體的虛化照片,其實也是利用了蘋果的人像效果遮罩技術來獲得深度圖,再加入自己的後端優化來實現。

▲ 使用 Halide 這樣的第三方應用,就可以用新 iPhone SE 拍非人臉題材的虛化照片

總得來看,本次新 iPhone SE 所實現的人像虛化拍照,算是單攝手機靠軟體優化所能做到的極限了。嚴格意義上,這其實也得歸功於那顆 A13 晶片,如果不是它帶來了最新的機器學習算法,單靠攝像頭本身,SE 的拍攝體驗顯然得打個對摺。

所以, 智慧型手機發展多攝系統仍然是有意義的,我們可以用超廣角來拓寬取景視野,可以靠長焦頭來獲得無損變焦照片,更別說 ToF、雷射雷達這類「特殊鏡頭」對 AR 增強現實的探測幫助,這些都不是單純靠一個 OTA 升級,或是算法的打磨就能實現的。

當然,一味地吹噓、比拼攝像頭數量同樣令人厭煩,如果說硬體只是決定了成像的下限,那麼一套優秀的算法,則可以顯著拉升成像的上限,甚至是重新壓榨出老硬體的價值和潛力。

不知道再等個四年,下一代 iPhone SE 面世時,單攝還能否在手機行業留有一席之地?

相關焦點

  • iphone7P戰鬥力下降,現在換新款SE就大錯特錯了
    當前用的7p 的小夥伴 我覺得還是可以繼續戰鬥一陣子的呢 買新的se 當主力機器並不是很划算喲。建議你再等一等呢1.雖說新款iphone se 售價為3299元,確實是比較吸引人的,反觀iphone 11售價4999元,兩者差了1700元。
  • iPhone SE拍照成績出爐,差一分遺憾沒成為單攝之王
    最近,Dxomark公布了iPhone SE手機的拍照得分,後置單攝為101分,前置拍照得分84分,總體上中規中矩,並不意外。iPhone SE採用了A13處理器,7nm工藝,2.66GHz,6核,十分強悍。
  • 別看新iPhone SE只有一個鏡頭,其實相當能打!
    況且,算上以舊換新,這款iPhone其實也就2000多。更不用說,某電商已經把補貼價直接降到了2899起。說它是史上最便宜的iPhone,也並不誇張。當然,很多人會吐槽,現在主流手機都在追求全面屏越「全」越好。
  • 比iPhone XR還厲害!新iPhone SE如何實現單攝虛化
    iPhone SE2無法使用聚焦像素,因為iPhone SE2的傳感器覆蓋範圍不足,但是,iPhone SE2完全可以通過機器學習來產生具有深度的照片。iPhone SE2的這個特點可以進行簡單的測試:拍攝照片而不是實物。
  • 蘋果第二代iPhone SE國行版本只支持單nano-SIM卡
    蘋果官網的技術規格頁面顯示,第二代iPhone SE的國行版本只支持單nano-SIM卡,美版和港版則支持雙SIM卡(nano-SIM+eSIM)。   IT之家了解到,此前蘋果的做法是,在全球大部分地區,iPhone XS、11系列機型都是通過採用實體 SIM 卡 + eSIM 卡的形式實現雙卡雙待,而在中國市場則是專門提供具備物理雙SIM卡槽的版本,也許是受限於成本因素,蘋果沒有為國行新iPhone
  • 2020年了,別問iPhone 8 plus、iPhone XR和iPhone 11怎麼選了
    後置攝像頭部分,iphone XR只有單攝,iphone XR和iphone 8 Plus都是雙攝,但是在iphone XR時期,蘋果的拍照被華為給錘了,主要就是夜景的拍攝被錘的很慘,到了iphone 11時代蘋果終於進行了改進,夜景能力有了很大的提升,所以就拍照能力來說,iphone 11的勝出是很明顯的事情。
  • iphone8plus和XR?選誰更好
    近年來,智慧型手機品牌眾多,向多元化方向發展,特別是安卓手機,安卓手機進步神速,現在安卓手機也可以做到用好幾年不卡頓。雖然如此,但是蘋果手機早已給人留下了根深蒂固的影響,有些人還是非蘋果手機不買。那麼問題來了,目前3000元的預算,iphone8plus和iphoneXR,選誰更高呢?iphone8plus是2017年發布的機型,iphoneXR則是2018年發布的機型,目前在第三方渠道,這兩款手機的價格,都已經跌至3000元左右,所以選誰呢?這兩款蘋果手機,有著很大的差別,特別是外觀設計上,完全是兩種不同的風格。
  • 手機照片誤刪怎麼恢復?不懂手機也能做到!
    手機照片誤刪怎麼恢復?不懂手機也能做到!手機照片對我們而言應該是很珍貴的手機數據了,因此我們很多時候都想恢復我們曾經刪除的照片,其實找回曾經的照片也不是很難,首先我們得了解照片恢復的一些原理,這樣我們再找回來就十分的容易了,來看看下面的介紹吧!
  • 怎麼把電腦上的照片傳到iphone手機
    #蘋果手機#使用iphone這給一些蘋果用戶帶來了困擾,那要怎麼把電腦中的圖片傳到蘋果手機裡呢?怎麼安裝iTunes呢?小朋友,你小小的腦袋裡是不是有大大的問號?別著急,如果你搜索了安裝iTunes的攻略還是不明覺厲,不要放棄,可以看看這個攻略。
  • 用Iphone拍出背景虛化的小景深效果,攝影師告訴你該怎麼玩
    景深就是照片中被攝物體前後的一個清晰範圍,大景深就是從前景到遠景都清晰的照片。大景深效果小景深的照片就只有對焦的被攝物是清晰的,其它地方都會呈現出不同程度的虛化。三、iphone拍出小景深照片的技巧iphone手機也有很多種型號,下面我按照鏡頭數量做一個分類來詳細解讀。1、單鏡頭就是一個鏡頭的iphone手機,比如iphone6S、iphone8等。
  • 最新款iPhone手機價目表價格報價,哪款蘋果手機值得買?
    下面從最新款手機到舊版本手機,依次介紹,一、iphone 11系列手機iPhone12手機還未發布,目前最新版本是蘋果iPhone11手機,該款手機有iPhone11、iPhone11 pro 和 iPhone11pro max 三款,具體差異查看《
  • 單鏡頭的新iPhone SE,如何拍出iPhone11Pro 三鏡頭人像模式?
    而近日, Halide Camera相機應用的開發者為我們介紹了新iPhone SE鏡頭的一些技術細節,到底為什麼跟iPhone 8一樣只有一個鏡頭模組,但卻可以做到如iPhone 11 Pro三個鏡頭一樣的人像模式拍攝呢?讓我們一起來了解一下。
  • iphone手機相冊備份在哪裡找到?換機如何轉移照片?
    ,iphone手機相冊備份在哪裡找到,換機如何轉移照片?工具/原料 騰訊相冊管家、iphone手機方法/步驟1、iphone手機相冊備份在哪裡找到? 首先,iphone手機自帶iCloud備份功能,點擊「設置「,登錄iPhone,點擊「iCloud雲備份」,之後iCloud會在且有WIFI的情況下自動備份數據。
  • 打造自己專屬個性照片牆 iPhone照片牆大師軟體評測
    打造自己專屬個性照片牆 iPhone照片牆大師軟體評測 許多iPhone的椒友都很喜歡拍照,那是因為我們iphone手機的攝像頭太給力啦,不但iphone4並且最新出的iphone4S都已經達到了
  • 差強人意,這次真的能用這個詞來形容iPhone 11 Pro Max
    首先是對比三星s20+,直接上夜攝照片。曾經iPhone的夜攝慘不忍睹,被各種安卓「夜視儀」按在地上摩擦。iPhone 11 Pro Max終於有所改觀,光線弱的環境下夜景模式自動開啟,最長曝光30秒。當然,我這種普通人用的最多還是自動曝光,一般是3秒,5姑娘能撐住。
  • 女生買iphone選擇11pro還是xsmax?
    1.看你出去玩喜不喜歡背單肩包,如果喜歡背包的女孩子,經常把手機放在包包裡的話,那麼可以考慮xs max 畢竟這麼大的手機有地方放,不容易磕到。如果你平常喜歡把手機揣在兜裡,那麼建議購買11pro 畢竟不會那麼硌人,小屏幕真的要比大屏幕方便太多了,而且女孩子手比較小,喜歡單手操作的姑娘們,強烈建議購買11pro,更加符合女孩子的氣質。
  • iPhone11pro和iPhone11promax異同點
    流媒體視頻播放:最長可達12小時音頻播放:最長可達80小時共同:1.超視網膜XDR顯示屏 亞光質感玻璃 搭配不鏽鋼設計2.三攝:①1200萬像素超廣角、廣角及長焦,支持夜間模式②原深感:1200萬像素攝像頭③支持4K視頻拍攝(最高可達60fps)3.晶片:A13 仿生,擁有第三代神經網絡引擎4.抗水性能:在4米深的水下停留時間最長可達
  • 蘋果iphone12 mini和12的區別,比第一代iPhone SE略大,值得買?
    1、iPhone 12 mini 屏幕偏小雖然mini的核心配置與iPhone 12基本一致,搭載5納米的A14處理器,後置1200萬像素的雙攝,但屏幕只比iPhone SE略微大點,定位小屏旗艦機。深度使用手機看資料的用戶需要考慮屏幕是不是太小。2、不支持雙卡雙待.