計算攝影 | 攝像機成像原理及參數解析

2021-02-24 計算機視覺life

本期主要對數字成像系統進行概述總結，行文主要分為：數字成像系統組成、攝像頭關鍵部位概述、ISP概述、關於攝像頭相關的技術指標概述以及總結。現在網際網路資源比較豐富，本文只提出每個部分的關鍵知識點，讀者如果有興趣可以進一步深入檢索進行學習。

對於人眼來說我們觀察到一個物體很容易。初中物理和生物知識已經告訴我們當我們觀察到光源下的物體時，比如對於變換光照來說我們眼睛可以通過補償光照以自適應環境亮度變化、物體遠近移動我們可以通過自主對焦以關注到物體移動。簡單來說是因為眼周圍肌肉引起瞳孔擴大縮小進而控制進光量，深究則是由於眼部的各種錐狀細胞、杆狀細胞等進行光感應進而能完成快速的物體成像。而數字成像系統也是和人眼成像有異曲同工之處。

如下是一個成像系統的關鍵組成：

以手機拍照為例：當打開手機準備拍照，鏡頭（Lens）會首先把被攝景物投影在圖像傳感器（Sensor）上，與此同時，影像處理器（ISP）會通過測光、測距算出合適的參數並指示鏡頭對焦，隨著你按下拍照鍵，圖像傳感器（Sensor）會完成一次曝光，並通過影像處理器（ISP）變成圖片，再經手機應用的後期處理，最終呈現在屏幕上，這就是消費者看到的JPG圖像。

上圖幾個關鍵概念解釋如下：


Lenses&Spaces：

即鏡頭，鏡頭是將拍攝景物在傳感器上成像的器件，它通常由幾片透鏡組成，相信如果了解工程光學的人對這個概念一定不陌生。從材質上看，攝像頭的鏡頭可分為塑膠透鏡和玻璃透鏡。

Voice Coil Motor（VCM）音圈馬達：

手機攝像頭廣泛使用VCM實現自動對焦功能，通過VCM可以調節鏡頭的位置，呈現清晰的圖像。其裡面實現原理主要是通過固定磁場加電流產生力進而引起馬達運動然後對焦，通過步進方式在空間尋找對焦位置並通過對焦算法確定何時停止尋找對焦位置。關於AF對焦在詳解3A算法部分會有詳細講解。

CMOS Image Sensor(CIS):

Sensor即傳感器，傳感器是攝像頭組成的核心，也是最關鍵的技術。此圖用的是CMOS傳感器（已包含DSP處理器），攝像頭傳感器主要有兩種，一種是CCD傳感器，一種是CMOS傳感器，兩者區別在於：

CCD的優勢在於成像質量好，但是由於製造工藝複雜，成本居高不下，特別是大型CCD，價格非常高昂。在相同解析度下，CMOS價格比CCD便宜，但是CMOS器件產生的圖像質量相比CCD來說要低一些。一般手機廠商都是採用CMOS傳感器。如果要了解CMOS傳感器工作原理，可參考工程光學相關內容，但需要提及的是CMOS實際上也就是通過光電感應原理將光信號轉換為電信號，現在攝像頭拍照數據流到達Sensor，傳感器（Sensor）只能感應到光照強度的大小，這意味只能是獲取黑白(0,1)照片，但是現在大部分照片都是彩色的，這是怎麼回事呢？原來有一個叫Bayer的人發明了一種「顏色濾波矩陣」，如下：

其巧妙地將這個矩陣加持在傳感器上，只讓相應顏色波長的光子通過。仿照了人眼對於顏色的特殊模式要求，到此即形成了不同模式的Raw圖，所謂Raw圖即原始未經加工過的圖，Raw圖的形成下一節會詳解其生成過程，RAW圖接下來會經過「大腦」——ISP晶片。

ISP是Image Signal Processor的縮寫，全稱是影像處理器。在相機成像的整個環節中，它負責接收感光元件（Sensor）的原始信號數據，可以理解為整個相機拍照、錄像的第一步處理流程。

ISP晶片的主要作用就是對傳感器輸入的信號進行運算處理，最終得出經過線性糾正、噪點去除、壞點修補、顏色插值、白平衡校正、曝光校正等處理後的結果。ISP晶片能夠在很大程度上決定手機相機最終的成像質量，通常它對圖像質量的改善空間可達10%-15%。

一般來說各個廠家ISP整體線程流會集成各種3A算法、降噪等算法，isp pipeline大同小異，一般的pipeline流程如下：

上述是一個基本的isp pipeline流程圖，其根據處理節點的不同分為RAW域、YUV域、RGB域。其中isp pipeline最關鍵的是3A算法，即AE、AF、AWB，但從上述圖發現沒有AE和AF？實際上這兩個算法在raw圖施加到pipeline上時候已經提前調試好了，因為只有AE曝光穩定，AF對焦準確，對於Raw域和YUV域進行的圖像處理才有意義，否則都沒有穩定的光電感應和準確對焦，何來更高的圖像質量？關於ISP相關的說明文檔很多，本文作為概述就不一一涉及，有興趣的可以Google關於ISP相關的圖像處理算法。

攝像頭成像是一門涉及工業製造、軟硬體結合的科學，故對於攝像頭硬體有一套相應的硬體指標，各個大廠都不相同，但按照類別可以分類如下：

解析度（Resolution）、視場角（Fov）、焦距(Focus length)、聚焦能力(Focusing Range)、光圈係數、失真（Restortion）。

a．靈敏度(sensitivity mv/lux.sec)：即1 lux照度下，1秒像素產生的電壓值，其反應傳感器的光電轉換效率；
b．動態範圍(Dynamic Range dB)：一個動態範圍大的傳感器能準確記錄影像從亮部到暗部的複雜變化，sensor動態範圍很大程度上取決於單個像素麵積大小；
c．暗電流(Dark shading pA.cm2)：即在完全黑暗情況下，1s內像素產生電壓值，其更多反映傳感器材料性能；
d．信噪比(dB)：信號電壓與噪聲電壓的比值；
e．幀率（frame per second）：一秒出幀數；
f．功耗(power consumption mw)；
g．尺寸；
h．白平衡能力；

可見衡量sensor性能的指標很多，每一項的選型都對攝像頭成像產生很大的影響，同時各個指標之間又是相互制衡的關係，所以各個大廠在對攝像頭選型時候一般會根據產品定位去做選型，會考慮性價比。

Camera模組主要性能參數：

1、視覺解析度(Visual Resolution)
2、色彩還原（Color）
3、白平衡（White Balance）
4、灰階（Gray Scale）
5、成像均衡性（Imaging Uniformity）
6、曝光亮度差（Exposure）
7、缺陷像素（Defect pixels）
8、畸變（Tv Distortion）
9、對角線視場角（Maximum Angle of field of View）
10、幀率（Frame Rate）

各個Camera廠商會根據攝像頭成像效果進行一套評估，即客觀測試標準書，測試涉及光源、拍攝對象、評測算法。光源包括CIE標準光源，涉及D65、D50、螢光、A光、H光；拍攝對象包括ISO 1000圖卡、24色卡、灰階卡等；評測算法一般通過評測軟體計算，如imatest、DXO評測軟體等。

數字成像系統是一門系統性工程，其主要研究的是成像的技術。


總結成像過程就是：經過鏡頭聚光成像，sensor將光信號進行光電轉換，AD處理，曝光增益控制，以及各種圖像信號處理，最後按照一定時序和格式輸出的數字圖像信號。

上述核心在於sensor，其類似於傳統相機的底片，而sensor的組成一般是三層結構：微鏡頭、濾色片、感光像素陣列。Sensor出的圖是raw圖，其需要經過ISP晶片中一系列算法處理後才能得到我們平時看到的jpg圖像，而此時只是行百裡者半九十，還需要根據各種成像指標進行圖像效果質量測試，包括客觀圖卡測試硬體性能和主觀場景測試算法成像效果，上述所有全系列指標都通過後才能完成一個完整的數字成像系統設計和實現進而可以量產交付。

值得一提的是，正是因為目前數字成像技術的廣泛應用，在各個大的手機廠商催生了相應的工程師崗位：如模組工程師、整裝工程師、驅動工程師、算法工程師、效果工程師、測試工程師等。通過這些工種可以發現，其基本上屬於整個數字成像系統的流水線所有關鍵節點，正是這些工程師的整體配合，才會有消費級電子產品如手機拍照的誕生。

[1] 數字成像系統-姜卓. 2017.

從零開始學習三維視覺核心技術SLAM，掃描查看介紹，3天內無條件退款

早就是優勢，學習切忌單打獨鬥，這裡有教程資料、練習作業、答疑解惑等，優質學習圈幫你少走彎路，快速入門！

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、算法競賽、圖像檢測分割、人臉人體、醫學影像、計算攝影、自動駕駛、綜合等微信群（以後會逐漸細分），請掃描下面微信號加群，備註：」暱稱+學校/公司+研究方向「，例如：」張三 + 上海交大 + 視覺SLAM「。請按照格式備註，否則不予通過。添加成功後會根據研究方向邀請進入相關微信群。請勿在群內發送廣告，否則會請出群，謝謝理解~

推薦閱讀

為什麼會出現雙攝像頭手機？

智慧型手機雙攝像頭工作原理解析：RGB+RGB, RGB+Mono

智慧型手機雙攝像頭原理解析：廣角+長焦

智慧型手機雙攝像頭原理解析：RGB +Depth

智慧型手機雙攝像頭產業鏈

未來智慧型手機攝像技術發展趨勢：硬體

未來智慧型手機攝像技術發展趨勢：應用

計算攝影技術：身懷絕技的掃地僧

計算攝影 |  從入射光到照片：數位相機成像的秘密

計算攝影 | 圖像合成與融合

最新AI乾貨，我在看  

相關焦點

  • 雷射攝像機的原理及應用
    由北京和普自主研發生產的遠距離高清雷射攝像機，專為遠程晝夜監控領域設計，採用超勻化紅外雷射作照明源，使用200萬像素低照度長焦攝像機，可進行晝夜連續監控。晝間最遠6000米，夜間最遠3000米可發現的人員、車輛、設施等目標。本文以和普高清雷射攝像機為例，解讀雷射攝像機的基本原理以及在應用領域中的優勢特點。
  • AI時代需要怎樣的成像技術?安科迪與陣列成像何以變革數碼時代
    是時下具有人臉識別功能的相機，還是能根據所拍攝物體不同而自動調整相應參數的相機？實際上，無論相機再如何「智能」，都不能脫離「相機」的本質。相機的第一要務是要「拍得清」，只有拍攝到足夠多、足夠清晰的畫面，其他功能才能有發展的舞臺。但現在，討論「如何識別」的話題很多，討論「如何讓成像變得更好」的話題卻很少。
  • 監控攝像機和普通攝像機有什麼不同
    攝像機工作的基本原理是：把光學圖像信號轉變為電信號，以便於存儲或者傳輸。攝像機的種類繁多，包括監控攝像機和普通攝像機等幾種類型。那麼監控攝像機和普通攝像機到底有什麼區別呢？監控攝像機和普通攝像機都能對一定場景進行實時監控、拍照，具有一定的監控能力；2. 它們的成像原理基本一致，只是所用的傳感器不同；3. 都是輔助光源，普通攝像機採用白光輔助燈，監控攝像機採用紅外燈板作為輔助光源。二、不同點1.
  • 【谷一伴讀】第十章 第二節 數字X線攝影成像原理#3月6日#
    （上）#3月4日#【谷一伴讀】第十章 第一節 X線成像基本原理（下）#3月5日#第十章 第二節 數字X線攝影成像原理1、CR工作流程：信息採集、信息轉換、信息處理、信息的存儲與輸出。25、EDR是利用在每種成像採集菜單（成像部位和攝影技術）中X線影像密度和對比度具有自己獨特性質來運作的，EDR數據來自於IP 和成像菜單，在成像分割模式和曝光野的範圍被識別後，就得出了每一幅圖像的密度直方圖。26、閱讀條件由兩個參數來決定，即閱讀靈敏度和閱讀寬容度，更具體地說是光電倍增管的靈敏度和放大器的增益。調整以後，將得到有利於處理和儲存的理想成像數據。
  • 醫學成像(影像)技術類型及其原理
    三、各種醫學成像(影像)原理1 、X線成像原理1895年倫琴發現了X射線(X-ray)，這是19世紀醫學診斷學上最偉大的發現。X-ray透視和攝影技術作為最早的醫學影像技術，直到今天還是使用最普遍且有相當大的臨床診斷價值的一種醫學診斷方法。X線成像系統檢測的信號是穿透組織後的X線強度，反映人體不同組織對X線吸收係數的差別，即組織厚度及密度的差異;圖像所顯示的是組織、器官和病變部位的形狀。
  • 【重點】DSA的成像原理、方法與處理方式(3)
    檢測器把X線強度轉換為光強度，電視攝像機又將光信號轉換成電子信號，再通過模/數轉換器電子信號轉換為數位訊號。DSA圖像的形成必須經過X線球管、X線能量譜濾過器、濾光柵、影像增強管、光學系統、電視攝像機及A/D轉換器等。
  • 專業知識 第十章第2節數字X線攝影成像原理
    QQ群刷題以進入備考階段，唯一群號碼753195483專業知識第十章第二節數字X線攝影成像原理CR成像原理1、工作流程：信息採集（指對IP曝光的過程）—信息轉換（指模擬信號轉換成數位訊號）—信息處理（包括諧調處理技術
  • 計算機視覺-相機內參數和外參數
    ，如相機焦慮，相機畸變係數等～一般來說如果你僅僅只是利用相機標定來進行一些比較簡單的視覺測量的話，那麼就沒有必要單獨標定出相機的內部參數了～至於相機內部參數如何解算，相關論文講的很多～在圖像測量過程以及機器視覺應用中，為確定空間物體表面某點的三維幾何位置與其在圖像中對應點之間的相互關係，必須建立相機成像的幾何模型，這些幾何模型參數就是相機參數。
  • 運動攝像機怎麼做到高清防抖的
    光學防抖原理並不難，是依靠在鏡頭內的陀螺儀來感知抖動，當儀器感知到微小的抖動時，就會立即將這個信號以極快的速度傳輸至相關的微處理器，之後通過計算來的數據，來調整鏡頭需要補償的位移量，這時候機器就會根據數據調用補償鏡頭組或者移動圖像傳感器，以達到消除抖動帶來的影響。我們熟知的iPhone6 Plus的鏡頭就是配備了光學防抖，所以哪怕在比較顛簸的車上拍攝出來的照片也不會模糊。
  • 紅外熱成像與普通攝像機區別,熱成像攝像頭不懼風雨全天候監控
    市場上的現有的攝像機從使用環境及光線要求來分，可分為白天及光線充足環境使用的可見光攝像機，光線較弱情況使用的微光紅外攝像機，以及黑夜零照度使用的紅外熱成像攝像頭三大類。可見光攝像機可分為模擬攝像機以及網絡攝像機，而目前市場上，普通的網絡攝像機還佔據主要部分，這是主要是我們現在的熱成像攝像機發展還不夠完善所造成，很多監控場合都是用普通網線進行布線。但畢竟普通的網絡攝像機的清晰度已經漸漸滿足清晰的場合使用了。
  • 計算光譜成像的前沿進展簡介
    以上原理方法皆以犧牲時間解析度為代價換取光譜解析度，因此只能拍攝靜態場景下的高光譜數據。由於基於掃描的方法（多次曝光）無法捕獲動態場景下的高光譜數據，因此誕生了計算成像方法（單次曝光）進行高光譜視頻採集（光譜成像由「靜」到「動」的變革）。2.
  • 蘋果、小米都在討論的計算攝影,到底是什麼來頭?
    近日，雷軍在宣傳自己的最新年度旗艦小米11系列時，提到了一個名詞：計算攝影。簡而言之，它是一種數字處理技術，可以從成像機理上來改進傳統手機相機，並將硬體設計與軟體計算能力有機結合，全方位地捕捉真實世界的場景信息。通過改善色彩和照明效果，並可以將局部的細節從黑暗之中拉出來，這能使拍照出來的成像效果非常好，色彩鮮豔亮麗，十分契合人眼的觀感。
  • 雙目立體視覺的數學原理
    在機器視覺系統中，雙目視覺一般由雙攝像機從不同角度同時獲取周圍景物的兩幅數字圖像，或有由單攝像機在不同時刻從不同角度獲取周圍景物的兩幅數字圖像，並基於視差原理即可恢復出物體三維幾何信息，重建周圍景物的三維形狀與位置。雙目視覺有的時候我們也會把它稱為體視，是人類利用雙眼獲取環境三維信息的主要途徑。
  • 不是像素越大成像越好 手機攝像頭原理解析
    在感光度方面，在夜間和高感光度下拍攝時，成像效果相對較好。手機攝像頭的成像原理物體的光進入系統，穿過鏡頭，然後到達圖像傳感器。光子撞擊傳感器以產生可移動電荷，這是內部光電效應，收集可移動電荷以形成電信號。由於處理器無法識別電荷信號，因此需要轉換數位訊號。
  • 中國鐵塔採購雙目熱成像攝像機:共三大類
    據來自中國鐵塔的官方消息顯示，中國鐵塔股份有限公司 2021 年雙目熱成像攝像機產品集中招標項目，已具備招標條件，現進行公開招標。　　本項目包括三個標包，分別為標包 1（3km 雙光譜攝像機）、標包 2（5km 雙光譜攝像機）、標包 3（10km 雙光譜攝像機）。
  • 大話成像公眾號歷史文章
    大話成像讀者QQ 交流群 ：237427716本站教學視頻大話成像之《數字成像系統》32講已上線CSDN 學院，請購買了視頻的讀者加入QQ群：679050565，群名稱：數字成像系統課程，驗證消息請輸入購買課程時候的個人ID。
  • X線成像技術考點及其解析(二)
    與傳統X線影像技術相比，現代醫學影像技術的最大特點是進入了數字成像領域。它們雖然都是以形成的圖像作為診斷依據。但是，各自的成像能源、成像方式、檢查方法和診斷原理則有很大差別。如表4-1所示。③數字醫療設備市場的需求1997年全球數字影像(DI)的市場份額為99億美金，如果以每年7.8%的增長率粗略計算2005年可達166億美金。這對廠家來講是個巨大誘惑。
  • 你要是不懂小孔成像 那攝影是白學了
    我們可以把現代照相機的原始形態追溯為暗房，其成像原理就是小孔成像。暗房，即是黑暗的密閉房間，光線穿過一個非常小的孔射進來，並在牆壁上投射出一個像，這個像就是小孔外的景象，但像是倒立的，這就是現代照相機的雛形。暗房涉及兩個方面的技術問題，一方面是進光小孔的大小決定影像投射到後壁的鮮明程度，另一方面就是如何將影像固定下來。
  • 詳解各種光學儀器成像原理
    點擊上方「新機器視覺」，選擇加"星標"或「置頂」重磅乾貨，第一時間送達幾何光學是光學設計的基礎，要做好光學設計必須懂得一些光學儀器的成像原理，今天光電資訊為大家整理了一些關於各種光學儀器成像原理內容，後面還有ZEMAX的學習視頻，大家不要錯過哦！
  • 無人機航測之「實用參數」
    這裡需要兩步：1）確定內參數；2）確定外參數。其中內參數用來描述相機在小孔成像過程中的一些重要參數值（焦距、主點、畸變...）；外參數用來描述相機怎麼擺在外部世界坐標系裡（三個旋角組成的旋轉矩陣，三個線元素組成的相機中心在世界坐標系的位置）。這個關係在 A）攝影測量的共線方程和 B）幾何計算機視覺的投影方程裡得以表達。