枯葉圖對於從隨機圖案中獲得SFR非常有用,並且可以用於測量由於圖像和視頻流中的降噪或壓縮而導致的紋理損失。 在本文中,我們介紹了使用模式和不同分析方法測量相機系統動態範圍以及描述SFR對物體對比度和光強度的依賴性的實驗結果。 結果可用於增進對現代相機系統性能的了解。 這些系統自適應地工作,並且具有場景感知能力,但是標準圖像質量指標無法很好地描述這些系統。
引言
枯葉圖本身是在2001年提出的,當時沒有用於相機評估。稍後介紹使用此圖案的想法。 在隨後的出版物中,提出了使用枯葉圖來評估噪聲。 在本文中,使用枯葉圖的不同分析方法來描述成像系統的動態範圍。 三種方法給出空間頻率響應(SFR)作為空間頻率的函數,並從中得出度量。另外,還分析直方圖和色彩內容。
DeadLeaves core
Cao等人得到了使用枯葉圖進行紋理損失分析的第一個實驗的結果。基本思想是利用枯葉圖的一個很好的功能:利用灰度值,位置和半徑的已知概率函數,就可以預測功率譜分布。 由於我們可以輕鬆地測量圖像中的功率譜,因此僅從這兩個信息即可得出SFR(公式1)。
DeadLeaves direct
第一種方法顯然遺漏了一個重要點:相機不僅在空間頻率傳遞中去除了(高)空間頻率,而且還給圖像增加了噪點。 因此,這種噪聲還將增加高空間頻率,這會干擾測量。 McElvain等人提出了一種解決此問題的方法,並進行了額外的噪聲測量。通過從圖像中平坦均勻的圖塊獲得的噪聲功率譜進行校正可以擴展計算範圍(請參見公式2)。
這裡的弱點是此方法的基本假設:添加到枯葉圖(我們測量PSimage的位置)上的噪聲等於添加到平坦的均勻灰色色塊(PSnoise)上的噪聲。 我們知道許多降噪算法都可以自適應地起作用,因此它們的行為取決於圖像內容。
DeadLeaves cross
Kirk等人提出了一種新的方法。使用交叉功率密度φYX(f)(the cross power density)和自功率密度ΦXX(f)(the auto power density)計算傳遞函數H(f)。
最終報告的SFR是H(f)實部的一維表示。 為了從2D變為1D,需要計算相同頻率模量「 f」的所有頻譜係數的平均值。 為了能夠計算出交叉功率密度,必須將枯葉圖的參考數據對齊並與圖像數據匹配,以便我們基本上擁有完整的參考測量方法。 儘管前兩種方法僅提供幅度響應,但在這種方法中,我們還具有完整的傳遞函數,包括相移。 所有與圖表內容不一致的圖像內容只會對SFR產生很小的影響,因此噪聲對結果的影響也非常有限。
MTF10和MTF50
結果部分中使用了不同的指標。 兩個簡單的指標是MTF10和MTF50值。 基本上,這些是代表特定的SFR空間頻率。 因此,MTF10值是代表SFR為10%的空間頻率,而MTF50值是代表SFR為50%的空間頻率。
偽影(artefacts)
分析枯葉圖的不同方法之間的主要區別之一是對噪聲的敏感性。DeadLeaves_core對噪聲非常敏感,而DeadLeaves_cross則對噪聲不敏感。我們利用此屬性並計算偽影值,作為基於DeadLeaves_core的銳度與基於DeadLeaves_cross的銳度之比。銳度是在0 cy / px至0.5 cy / px的頻率範圍內SFR的積分。
圖1 基於三種不同方法的SFR示例。 DeadLeaves_core受噪聲的影響很大,而DeadLeaves_cross則不受此影響峰度(kurtosis)
此值不是從SFR導出的,而是從圖像本身的直方圖得出的。為了描述分布的形狀,計算了額外的峰度。對於正態分布,該值變為0;對於尖峰分布,該值增大。峰度計算為由第四個分布除以第二個分布的平方。第二個分布是變化的。在這之前,它已被用作描述非線性圖像處理(如降噪)的影響的指標。
在這種情況下,可以理解,枯葉圖案不提供正態分布,確切的分布取決於特定枯葉圖的統計量。 歸納仍然有待研究。 作為指標,它與觀測值顯示出良好的相關性(更多細節請參見結果)。
CIE-C*
在該測試設置中,使用了彩色的枯葉圖圖卡。派生的度量標準是平均CIE-C*值,因此,枯葉圖的平均CIE-C*值越低,圖像飽和度越低。
動態範圍測量
攝像頭系統的動態範圍定義了可以捕獲的場景中最亮和最暗區域的比例。 公式5給出了ISO15739中的定義。 典型的測試系統如圖2所示。
場景的最亮部分Lmax受飽和度效果的限制,因此,當系統達到飽和時,場景中比Lmax亮的區域不會導致更高的數字值。根據定義,場景Lmin的最暗部分受噪聲限制。因此,如果達到1的信噪比(SNR),則會丟失信息,因此Lmin代表SNR = 1的亮度。
圖2一旦這個定義被接受,將會帶來一些問題。其中一個問題如圖3所示。由於基於HDR圖像的多重曝光的傳感器,SNR曲線在不同曝光的邊界區域產生「SNR下降(SNR drops)」。因此,假設「在Lmin和Lmax之間的亮度都是有用信息「不總是正確的。
圖3 多重曝光HDR技術下出現的典型現象:SNR下降此處:同一傳感器的120bB與144dB動態範圍配置的比較。
另一個關鍵問題是非線性圖像處理和圖像增強。 由於動態範圍純粹基於噪聲,這意味著簡單的降噪算法可以增加測得的動態範圍,而不必增加場景的信息量。
解決此問題的一種方法是使用對比檢測概率(CDP)。該度量標準目前正在IEEE-P2020中開發。即使它不能直接解決動態範圍,也可以使用圖4所示的CDP圖來描述導致可接受的CDP值的對比度和亮度的組合。因此,如果我們將動態範圍視為在被測系統中提供有意義信號的亮度範圍,則可以說CDP映射可用於定義動態範圍。
圖4 HDR傳感器配置的2D對比度檢測概率(CDP)圖。使用CDP顏色編碼的亮度vs.對比度。對於給定的用例定義,具有較高CDP的區域可以被認為是有用的,並定義了動態範圍。
我們使用枯葉圖進行了兩種不同的方法來測量相機系統的動態範圍。
使用不同的曝光拍攝固定亮度的圖卡
第一種方法是使用透射式的枯葉圖卡,並用燈箱補光。照相機以變化的曝光時間再現了該圖卡,如圖5所示。然後分析每個圖像的不同指標。
圖5通過此設置,已經對D-SLR相機和手機進行了評估。 D-SLR相機(佳能5DMkIII)同時拍攝JPEG和RAW圖像,並且曝光時間在1秒和1/8000秒之間變化。 手機(Apple iPhone 11)的操作方式可以手動選擇曝光時間,並捕獲HEIC圖像和DNG圖像。
動態目標
對於動態圖卡測量,被測相機的測試目標包括三個枯葉圖,每個枯葉圖都有可調節的亮度。 這樣選擇設置(圖6),以便可以在場景中生成較大的動態範圍。 起點是所有三個圖卡的亮度相同。 一個光源保持恆定(左上方),另一個光源每次提高100%(左下方),另一個光源亮度降低50%。
圖6 用於動態測試的測試設置。三種透射式枯葉圖的光源上:所有具有相似亮度的光源。底部:亮度差異很大的設置。請注意右上角的鬼影。
結果
圖7顯示了佳能5DMkIII D-SLR相機在不同曝光下得到的JPEG圖像的MTF10和MTF50的值。我們可以看到,非常亮和非常暗的圖像也會導致較低的解析度值。我們觀察到其中一個區域的值比較穩定。
圖8顯示了Apple iPhone 11得到的DNG圖像的不同指標。這些DNG已使用dcraw轉換為JPEG,然後進行了分析。我們可以看到,MTF10和MTF50值在很寬的範圍內是恆定的,並且僅在非常明亮、過度曝光