小米MIX4將會採用三星1.08億像素傳感器的新聞大家應該都聽說了，一時間大家都開始討論小尺寸傳感器高像素是否有意義，那麼回歸本源來看，像素的作用就是對鏡頭傳遞的空間信息進行採樣，像素數就是採樣樣本數，它與灰度級，也就是模數轉換位數共同決定了數字圖像的質量，直觀上不難理解：樣本越多、灰度級越大，圖像質量越好，這也是廣義上「像素即正義」的根本。
不過圖像處理並不能這麼直觀的來理解，空間域的濾波處理用數學化的方法複雜度很高，所以數字圖像，也就是一個受限非周期函數往往通過傅立葉變換到頻率域來進行處理，以降噪為例，噪聲在空域來看就是一條條紋理，但傅立葉變換後就是點狀：
通過濾波處理再做一次反變換就能實現降噪後的重建，這比直接在空域進行處理要簡單很多，當然，快速傅立葉變換主要針對規律噪聲消除，隨機噪聲需要更複雜的濾波方法。而ISP在處理信息時也必須把連續函數轉換為離散值序列，在圖像中取一條一維連續函數f(t)，以T為單位間隔的衝激串作為取樣函數去乘以它，就能得到一個取樣後的函數，算式我就不列了，圖像會比較直觀一點：
豎虛線為衝激串示意，對應紅點的就是積分並使用衝激採樣得到的值，於是1/T就是採樣率，而採樣率要足夠高才能為周期之間提供有效的間隔，以保證頻域信息的完整性，下圖是一個帶限函數的傅立葉變換：
下面是過採樣、臨界採樣和欠採樣條件下採樣後的函數的傅立葉變換：
很明顯，較高的1/T值在周期之間有明顯的間隔，從上圖2也不難看出，以1/T採樣率對一個信號採樣的最大頻率是1/2T，也即是：一個連續帶限函數採樣率等於函數最高頻率2倍，不會產生信號損失，這就是奈奎斯特採樣定律。低於此值的採樣率樣本可參考上圖3，最終結果是周期重疊，無論如何濾波都不可能再分離出變換的一個單周期，這種效果就是混淆，經典的代表是邊緣鋸齒和摩爾紋。
而且奈奎斯特頻率也不是絕對的安全值，下圖為在兩個方向上無線擴展的正弦波sin(πt)，周期為2秒，頻率為1/2周期/秒：
若準確按照2倍頻率，也就是1秒採樣1次來恢復信號，於是在t=0,1,2,3……位置取到sin(0)，sin(π)，sin(2π)，sin(3π)……而它們的值都是0，這顯然無法正確還原信號，而比它更低的採樣率會導致明顯的混淆，所以在現實應用中我們往往需要採樣率在函數頻率的更多倍，也就是比奈奎斯特採樣率更高，才能進行有效重建。
有了這些基礎知識後，高像素密度的問題自然迎刃而解，對無限遠處2個點光源通過理想光學系統在焦平面形成的衍射光斑最小可分辨間距為：
D為入瞳徑、f為焦距、F為光圈值，以可見光波長0.38-0.78微米，F值1.6來計算，不難得到0.74176-1.52256微米的間距值，而按照奈奎斯特採樣定律，作為採樣點的像素邊長也就是0.37088-0.76128微米，顯然，目前還沒有像素設計達到了這個標準，當然，這是理想光學條件下的結論，實際受鏡頭像差（這才是影響最大的）和工藝的影響，數值比這個要高出不少，但0.8微米像素依然是在容限範圍以內的，更何況往往奈奎斯特採樣標準還不夠用，所以1/1.33英寸做一億像素距離理論極限還有一定的距離，依然有益於提升成像素質。
傳感器OK了，那鏡頭會不會拖後腿？小尺寸傳感器意味著小像場鏡頭，有相對更小的光線高度h和視場角u，而幾乎所有像差的大小都與這兩項參數有直接關係，隨便舉兩個例子，比如垂軸球差展開式為：
A和a為鏡頭常數，再一個例子，雙膠合物鏡二級光譜值為：
其中f』為複合焦距，PFD1/2、V1/2為膠合鏡片的相對色散和阿貝數。雖然只列了2個例子，但事實上光線高度對整個像差幅度都有明顯影響，因此單純看空間解析度，小像場鏡頭往往會有非常驚人的素質，反過來也應該不難理解大像場鏡頭做大光圈設計為什麼很難達到高MTF，當然，如果只用大像場鏡頭的中心部分來投影小尺寸傳感器，性能也不會差。而且無反結構提高了鏡頭的設計空間上限，隨著各家工作重心已經轉移到無反上，無反大光圈鏡頭性能已經逐步跟上，這同時也就為高像素機型的發展提供了現實需求。
還是用已有的方案來對比吧，隨手找了個手機鏡頭的跑分圖：
從MTF上不難看出中心點MTF50達到了驚人的350lp/mm，邊緣區域徑向MTF50最低也有接近150lp/mm，這是大像場鏡頭無法比擬的先天優勢（全畫幅鏡頭中心點在最佳光圈MTF50能達到120lp/mm已屬頂級），而我們粗暴假設這是一顆1/1.7英寸像場鏡頭，這意味著它的像高為5.58mm，再粗暴地按中心點MTF計算可得到1953LW/PH，也就是說它可以50%的對比度傳遞1953對黑白相間的橫向條紋用於傳感器成像，對應的傳感器解析度下限就是5208x3906，約2034萬像素，而結合奈奎斯特採樣定律，所以它需要對應至少4068萬像素才能以數字形式有效復現鏡頭傳遞的模擬像。從這個角度來看，現有手機攝像頭還遠沒有到設計極限，當然這個算法非常粗暴，畢竟使用的都是理論高數值。
小傳感器有一個比較明顯的問題是更容易受噪聲影響，其中最主要是隨機噪聲，光子隨即入射產生的光電子散粒噪聲與傳感器尺寸為正比關係，熱噪聲、暗電流則與製造工藝和環境溫度有關。解決隨機噪聲最行之有效的方案正是手機領域非常擅長利用的多幀技術，因為隨機噪聲分布符合統計學規律，所以將帶噪圖像代數相加後求均值即可有效消除，設g(x,y)是無噪聲圖像f(x,y)被噪聲n(x,y)汙染後的圖像，對圖像進行K次曝光後單個像素X取均值：
數學上不難推導出隨K值的增大，每個(x,y)像素位置的變化會以方差或標準差的形式減小：
這樣一來，代數相加取均值後的g(x,y)就能大幅降低隨機噪聲的影響，使其更接近f(x,y)。這在天文攝影領域也是很常見的方法，結合製冷可以有效消除長曝光時的噪聲影響。目前來看所有手機ISP方案都極其重視這項技術，結合堆棧式工藝，實現難度也不算高。
至於傳感器本身的模式噪聲則主要與工藝有關，比如像素內復位管和源跟隨管閾值電壓變化，列處理器電路開關時的溝道電荷注入，每個像素對光響應不一致性等問題，可以通過設計消除或改善，而現代手機傳感器已經基本普及為背照式，相當多已經用上了堆棧設計，數字層的製造工藝已經進步到了相當高的水準。
不過，小尺寸傳感器最大的先天桎梏還在低照度信噪比上，但華為已經為行業指出了一個比較明確的方案：像素合併+高倍增益+暴力降噪算法。這次小米的三星1.08億像素方案依然是4合1方案，合併後實際到ISP的也就是2700萬像素，而按目前的說法來看這次應該是可以全像素/合併像素都能輸出。在讓開口率達到100%的背照式設計與無隙微透鏡全導光的情況下，合併像素輸出與原生2700萬對ISP來說沒有區別，但結合特定的子像素彩色濾鏡設計可以實現特定的目的，比如在自動駕駛攝像頭裡會用到只保留紅色分量的RCCC陣列，以及增大光譜透過率的RYYB，此前甚至傳聞MIX4上1.08億傳感器是RWB陣列，不過三星S5KHMX公版依然是拜耳，不知道小米是否會如傳聞那樣定製設計。
比起原生單像素來說，子像素分量的優點是可提供更符合設計需求的加權，比如RWB就會一定幅度增強量子效率，進而讓合併像素具備更低的極限靈敏度閾值，也就是用更少的光子就能讓信噪比達到1，在更弱的照度下也能進行有效成像（注意，單純的加大像素麵積並不是提高弱光成像質量的充分條件），結合多幀均值並對此信號賦以高倍程控電壓放大，就會得到一個信號與噪聲都相當高的輸出，再使用通過神經網絡學習得到的降噪算法進行濾波，獲得一個在手機這種小幅面輸出素質很不錯的結果。當然，這種暴力降噪的代價往往是明顯的圖像模糊，但解決了手機攝像頭在弱光環境難以快速成像的問題。
合併像素還會讓阱容等比增大，從而提升了動態範圍（最大不飽和信號電壓/本底噪聲電壓）和信噪比（信號電壓/系統噪聲電壓），這與色彩濾鏡採用何種設計是無關的，在現代工藝下已經可以做到與原生大像素基本相當的水平。結合可進行1分4的1.08億拆分輸出意味著，它能夠在高解析度和高動態範圍（信噪比）這兩個不可同時獲取的極端自由遊走，不僅僅是單一的輸出，這才是高像素+合併的意義所在。
至於非拜耳陣列的色彩還原也有很多論文討論過，其實任何需要猜色的濾鏡陣列插值算法都是一個單純的經驗問題，即便拜耳陣列在數字成像野蠻生長時代也有相當長的時間是色彩還原明顯不準，比如下圖：
這是一張1999年柯達DSC 620拍攝的200萬像素彩色照片，不難看出色調有點怪怪的。大多濾鏡陣列的插值算法在商用初期都會有一定幅度的偏色，但這是一個會隨裝機量提升而提升的「軟規格」，能不能成事純粹要看上遊的態度和市場是否買單，這也是把新濾鏡先用在對色彩準確性要求沒那麼高，但用戶群迭代很快的手機領域的原因，畢竟色彩還原並不是手機攝影的絕對重點，大多數人甚至會主動加濾鏡來調色，所以這個策略也是非常正確的，RYYB於華為P30系列就是個很好的例子，非生產力工具就適合來做這些新嘗試，而且三星RWB是2015年就已經推出的技術，這些年來應該有持續的研發積累，假設小米會定製色彩濾鏡的話，這方面也並不會成為掣肘之處。
總體來說，目前的一億像素1/1.33英寸傳感器不僅不會成為問題，反倒會給用戶提供新的應用方式，比如6K 30p視頻，事實上它還挺適合用在手機端的，而且對目前仍處於高速發展階段的ARM SoC算力而言，開銷也能在接受範圍之內。如果是定製RWB傳感器，那鏡頭選型就簡單多了，因為RWB量子效率更高，且傳感器面積更大，採用相同通光量鏡頭意味著它接受到的總光子數會更多，換言之它不需要特別高的F值就能達到傳統拜耳陣列較大F值的亮度水準，所以這個一億像素RWB傳感器應該會配相對小F值鏡頭，比如F1.8甚至F2.0，也就比現有最快的手機鏡頭慢了不到一檔而已，解決了口徑和厚度的問題同時性能也不打折，方案明顯優大於劣。
如果沿用Quad Bayer公版，模組尺寸基本就是現有方案的等比縮放，1/1.33的面積接近1/1.7的1.5倍，對角線長1.2倍多一點，這麼粗暴對比一下不難發現其實變化並沒有想像中大，只要不在其他設計上追極限，就沒有太大必要擔心體型的問題。