第13期
大家還記得前年的一部電影《比利●林恩的中場戰事》嗎?這部由李安執導的電影,有一項裡程碑式的技術:120幀的畫面。
高幀率帶給電影的不僅僅是清晰度,更多的是鏡頭橫掃時候的臨場感和真實感,電影狂熱分子更是號稱120幀的技術會是電影界的一場技術革命。
你可能會問:「什麼叫做120幀?」
不知大家有沒有見過老式膠片電影的放映,如果你是80後,你應該並沒有錯過。
人工拖動膠片,使每一張膠片在放映畫面連續播放。一場完整的電影其實是很多張連續膠片的連續播放,只是膠片切換的速度很快,快到人眼都無法識別它其實是一幅幅單獨的圖片。
隨著科技的進步,現在我們已經很少使用膠片電影了,然而放映原理其實並沒有改變。現在的電影或者視頻,原理上來說也是一張張圖片的連續播放。
視頻中的一張圖片可以稱之為一「幀」,幀率(Frame Rate)顧名思義為幀的速率,指的是圖片連續播放的速率。
幀率的單位是Fps(Frame per Second),以每秒可以播放多少張圖片作為衡量標準。
前文提到的120幀(fps)指的就是幀率的概念,即每秒播放120張圖片。
每一幀圖像處理的時間,不考慮各階段延時及Blanking的過程,幀周期內有兩部分主要操作的時間消耗,包括「曝光時間」和「讀圖時間」。
像素點需要感應到光線才能成像,這個過程稱之為曝光。曝光時間也稱作快門時間,是像素點曝光感應光線的時間長短。曝光時間長,像素點可以吸收到更多的光線,圖像也會比較亮;曝光時間短,像素點吸收的光線較少,圖像也會比較暗。
像素點曝光完成後,需要進行電荷收集轉換成電壓,信號模數處理,通過增益及簡易DSP處理,進而圖像輸出等一系列操作稱之為「讀圖時間」。
像這種曝光時間和讀圖時間以先後順序發生,通常稱之為「非重疊模式(non-over lapped)」,我們手機攝像頭上的感光晶片通常採用這種模式。
產生一幀圖像需要的時間,稱之為幀周期(Frame Period),振周期=1/幀率。如果用算式表達,則:幀周期>曝光時間+讀圖時間。
由於使用場景的千差萬別,比如黑夜和白天,陰雨和晴天,攝像頭需要根據不同環境的光照程度來自動調節曝光時間,亮度高的環境曝光時間調得低一些,亮度低的環境曝光時間調得高一些,這個過程稱之為AE自動曝光(auto exposure),就像人類通過調節瞳孔的大小來適應不同的環境亮度。
由於曝光時間隨時隨刻都在調節,存在不確定性,幀周期以曝光時間來計算並不容易,而是通過像素點消耗的時間來計算,我們來看看具體的計算方法:
第七期技術科普【上電時序】中有介紹過,每款晶片內部都有一個PLL鎖相環,通過加減乘除等一系列運算,產生供像素點處理的時鐘,這個時鐘仿佛是軍訓時候的口令「一二一」給每個像素點打著節拍。
現在幀率計算的時候就會用到這個給像素點打節拍的時鐘(Pixel_CLK),單位為Pixels/Second,即每秒鐘能處理傳輸多少個像素點,也可以稱之為像素點處理頻率。
我們通常所說的像素大小指的是有效像素區域(Active Pixel),它是晶片中具有感光能力的像素點,我們可以稱之為晶片的「有效耕地」。
但其實一幀圖片的大小並不僅限於有效耕地,還有部分不感光的部分,由H-Blanking和V-Blanking組成,這兩個概念事實上是參數設置中虛擬的尺寸,可以通過參數設置增大減小。
一幀的圖片總長為Line_Length,總寬為Frame_Length,
Line_Length= 有效像素長度+ H-Blanking
Frame_Length= 有效像素寬度 + V-Blanking
一幀圖像的總像素點數=Line_Length * Frame_Length
幀率(frame/second)=像素點處理頻率(pixels/second)/每一幀含有總像素點數(pixels/frame)
= Pixel_CLK/(Line_Length * Frame_Length)
先來感受下幀率快慢的區別
一般來說,當幀率為24fps以下時,人眼比較容易感覺出視頻中的拖影。24fps以上作為預覽相對已經夠用,常規的晶片滿幀率都能到30fps,既然幀率已經夠用,那為什麼人們還是不斷地在追求高幀率呢?那是因為隨著幀率的增加,手機端可以做其他各類的應用,比較典型的有以下兩種。
暗態噪點是圖像好壞的一個重要考量指標,第三期技術科普【信噪比】中提到過,如果圖像是張美女臉,那噪聲多的臉就仿佛是臉上長滿了雀斑和痘痘,自然影響美感,每一位女生都希望自己的臉部皮膚像嬰兒般潔白無瑕疵。
多幀去噪相當於給皮膚「去斑卻痘」的過程,把右邊噪聲多的圖片中的噪聲抹去,變成像左圖一樣通透純淨的圖像。
像右圖中的麻點樣噪聲多半都是隨機噪聲。通常連拍的兩張以上的圖片信息,可以有效地區分出其中的有效信號和隨機噪聲,可以將有效信號保留並把隨機噪聲剔除掉,形成一張相對通透純淨的圖片。
2018年的世界盃已經宣告結束,熟悉世界盃的你,一定對慢動作回放不會太陌生,每一個進球或犯規都會以各角度拍攝,慢動作回放的方式呈現給觀眾。
當然世界盃的慢動作回放得益於先進的拍攝裝備,而目前手機上也開始擁有慢動作回放的功能,通常需要用到高幀率圖像(一般需要大於480幀/s),存儲在手機緩存內,然後延長原視頻播放時間,以一幀一幀逐步輸出,構成每一幀圖像的慢鏡頭回放。
C部門-實習記者丨Echo 排版編輯丨杜杜羊
▼
上期回顧
技術科普丨圖像不是你想變就能變!
香根草基地
公司動態 | 招聘信息 | 福利活動 | 諮詢服務
後臺回復「投稿」獲取投稿須知
▼