使動態範圍測量能有效應對眩光

Introduction

相機的動態範圍 (DR) 是指在保證足夠對比和良好信噪比 (SNR) 的前提下,能夠再現場景中各種色調的範圍。相機的動態範圍通常會受到眩光的限制,眩光是指影像中存在的雜散光,主要由鏡頭元件之間的反射引起。眩光會使影像模糊,即暗部細節遺失,從而降低動態範圍。這正是相機(包括鏡頭)的動態範圍通常低於影像感測器的主要原因。對於最新的 HDR(高動態範圍)感測器而言,影像感測器的動態範圍可高達 150dB(3,000 萬:1)。

過去兩年,我們發現測試圖影像中的光暈理論上可能被誤認為是測試圖本身的影像,從而導致動態範圍 (DR) 測量值偏高。 2019 年中,我們開始在實際影像中發現這種誤差,證實了這個問題的存在。透過研究這些影像,我們開發了一些技術來防止光暈導致的訊號雜訊比 (SNR) 測量值偏高。本文將詳細介紹這些技術。

我們理解,部分客戶可能更傾向於使用誇張的動態範圍測量值,因為這樣可以獲得非常高的HDR數值——有時甚至超過120dB——接近HDR感測器的規格,並且在行銷材料中看起來效果很好。去除眩光影響後獲得的降低但更真實的動態範圍測量值可能會讓部分客戶感到不適。我們將盡力解決他們的異議。

耀斑光的影響

可以用XYLA圖表的圖像來說明耀斑光——XYLA 圖表是一種具有線性配置的精密 HDR 測試圖表——它由 21 個灰階色塊組成,光密度步長為 0.3。該影像來自低成本的「黑盒子」相機。

上圖是使用影像統計模組產生的橫斷面圖,取自 XYLA 影像的中心。耀斑在影像中最明顯,並且在橫截面圖中表現為最亮區域左側的衰減。

下方的橫截面取自當前圖表影像之外(下方),上方顯示的圖表影像已調亮,以便更清晰地顯示耀斑光。圖表右側像素值的變化( x 值介於 800 和 1600 之間)是由左側最亮區域的耀斑光擴散造成的。

關於這張圖片的一些說明。

這張影像具有非常強的局部色調映射,導致測得的伽馬值異常低(且意義不大),僅為 0.148。訊號雜訊比的變化方式也異常,它並非像傳統線性影像感測器那樣單調下降。這表示使用了具有多個工作區域的 HDR 影像感測器。

由於影像有明顯的桶形畸變,區域選擇較為困難。 對比度解析度圖表使用起來則方便得多,並且在進行色調映射時能更好地反映系統性能。


如果閃光更嚴重一些,很容易被誤認為是圖表本身發出的信號,從而導致錯誤的 DR 測量結果。

耀斑光非常複雜。它會為影像增加一個偏移量(通常稱為「薄霧眩光」),這在影像處理流程中很難與黑電平偏移區分開來。大多數情況下,耀斑光在明亮區域附近最強,然後隨著與這些區域距離的增加而減弱。這種減弱速率很少是標準的指數衰減。


鏡頭反射是中距離眩光的主要原因。未鍍膜的玻璃表面(折射率約 1.5)會反射入射光的R = 4% = 0.04。 (請記住,一塊玻璃或一個鏡頭元件有兩個表面。)

位於鏡頭表面和光源之間的每一層玻璃表面,一部分主反射光(即原始入射光的R² )會反射回影像感測器。這被稱為二次反射。由於大多數鏡頭表面都是曲面,這部分光線會失焦,也就是說,它會使影像的一部分變得模糊。

根據Edmund Optics的說法,最佳的抗反射塗層在可見光譜範圍(~400-700nm)內的反射率R ≅ 0.4% = 0.004。對於合理的入射角範圍, R = 0.005 可能更實際。每次二次反射返回感測器的光強度為R² = 0.000025 = 2.5* 10⁻⁵ = -92 dB (20* log₁₀ ( R² ) )。二次反射次數N sec隨著透鏡中元件數量M (由多個元件黏合而成,每個元件有兩個空氣-玻璃接觸面)的增加而迅速增加:單元件為 1 次;雙元件為 6 次;三元件為 15 次;四元件為 28 次;五元件為 45 次,以此類推。對於M個元件,

2024 10 22 at 12 54 58 pm

M = 5 個分量是高品質手機相機的典型值; M ≥ 12 個分量是單眼變焦鏡頭的常見值。整體而言,鏡頭光暈的嚴重程度低於二次反射次數所顯示的程度,因為雜散光並未覆蓋整個影像;它隨著與明亮區域距離的增加而減弱。因此,即使感測器動態範圍遠高於此,也很容易理解為什麼實際相機動態範圍的測量值通常限制在 70-90dB 左右。

由於 ISO 18844 光暈模型無法測量鏡頭反射引起的空間相關光暈,因此它在表徵實際系統性能方面價值有限。

重點總結-眩光主要指影像暗部區域從亮部區域散射而來的光線。這種散射光容易與實際的色差曲線訊號混淆(尤其是在使用線性色差曲線時),導致動態範圍測量值偏高(過於樂觀)。此外,眩光增加(可能是由於鏡頭鍍膜品質較差,例如價格較低)會使影像陰影區域模糊,從而降低實際動態範圍,但卻可能導致動態範圍測量值偏高。因此,需要區分眩光產生的偽影訊號和色差曲線的真實訊號。

圓形測試圖表

Imatest建議用於測量動態範圍 (DR) 的測試圖表是透射式(即背光式)圖表,其色塊排列近似為圓形;也就是說,它們並非線性排列(例如上圖所示的 XYLA 圖表)。右側所示的雙層或三層高動態範圍圖表有多種版本。由於膠片測試圖表的色塊密度不一致,因此在使用這些圖表時需要參考文件。

高品質相機

直到最近,我們分析的大部分動態範圍影像都來自單眼或微單相機,這些相機的眩光相對較低。而我們最近看到的眩光嚴重的影像則來自性能較差的相機。我們尚未確定眩光如此嚴重的具體原因;這可能是由於多片式鏡頭的鍍膜品質較差,或是鏡頭筒內的遮光罩設計不足所致。

以下是一些高品質相機拍攝的效果範例。點擊下方縮圖即可查看完整尺寸的圖片。

使用高品質(Canon 90mm 移軸鏡頭)鏡頭拍攝的 JPEG 影像的處理結果

這四張圖片分別是使用 Sony A7Rii 相機和兩款截然不同的鏡頭拍攝的 48 位元 RAW(或由 RAW 匯出的 TIFF)和 24 位元 JPEG 檔案:

如預期的那樣,90mm T/S 鏡頭的動態範圍明顯更佳,JPEG 檔案的動態響應「肩部」(影像較亮部分斜率降低的區域)也更加明顯。但有一個意外之處:JPEG 影像的動態範圍與 RAW 影像相當——這顯然是因為伽瑪編碼(它減少了亮部的像素級數,增加了暗部的像素級數)將動態範圍擴展到了線性 8 位元(256 層)檔案所預期的水平之外。

請注意,在上述四幅影像中的三幅中,低品質影像的動態範圍低於基於斜率計算的動態範圍;在剩餘的一幅影像中,兩者非常接近。我們不建議單獨使用基於斜率的動態範圍(因為它通常會延伸到信噪比為 0dB(訊號/雜訊比為 1)的區域之外;也就是說,它包含了訊號雜訊比低導致雜訊完全掩蓋影像細節的區域)。

低成本“黑盒子”相機

與我們最近收到的低成本「黑盒子」相機拍攝的影像相比,這兩個鏡頭(中等品質和高品質)的動態範圍差異似乎很小。

低品質(訊號雜訊比 = 0dB,標示為「低」 )— 動態範圍 (DR) 的測量值為 148dB,這是一個驚人的高值;而基於斜率的動態範圍為 66dB,遠低於幾種基於畫質的動態範圍測量值(也低於 90mm T/S 鏡頭的基於斜率的動態範圍)。請注意,圖中未顯示兩個最暗的區域,因為它們的密度(8.184 和 8.747)超過了圖表 160dB 的極限。 (160dB 的範圍是 1 億分之一——遠超任何感測器或相機的預期。換句話說,如果一個光子到達最暗的區域,最亮的區域就會點燃圖表或感測器。)

為了了解發生了什麼,我們需要觀察高品質相機拍攝的影像中的暗部,這些暗部被額外(X-)或XX-提亮,以使暗部細節可見,並將這些暗部與低成本相機拍攝的類似區域進行比較。

六片式(5組)90mm鏡頭的RAW影像在第七行(倒數第二行;第27-32號像素)顯示出明顯的亮度降低區域,最底行也存在類似的亮度降低區域,但亮度不再降低。在第30號像素中可以看到反射(可能來自鏡頭)。 90mm鏡頭的JPEG影像雜訊較多。由於JPEG格式只有256個電平(0-255),部分雜訊可能是量化雜訊。十五片式(10組)75-300mm鏡頭的影像則明顯有較多眩光現象。

現在,將這些結果(特別是 90 毫米 T/S 鏡頭的 RAW 影像(左側縮圖))與低成本黑盒子相機的影像進行比較。

底部兩行(第 27-36 行)的影像細節完全不可見。像素等級並非像通常那樣從左到右遞減,而是從上到下遞減,在底部兩行保持相對穩定,並清晰可見條帶狀偽影(由 255 個等級構成)。這顯然是光暈,而非測試圖的訊號。遺憾的是,由於 Imatest 在雜訊計算中消除了光照不均勻性的影響,這兩行的訊號雜訊比相當高。 (雖然可以透過設定關閉此功能,但我們通常建議啟用,以便在實際存在光照不均勻性的情況下獲得更好的結果。)但這個訊號是偽影,並非真實訊號。

這使我們得出不可避免的結論:低成本黑盒子相機的品質 DR 結果不正確,我們需要檢測耀斑光掩蓋圖表影像訊號的區域,並將其從 DR 計算中排除。

幸運的是,對於圓形排列的動態範圍測試圖(例如上圖所示的36色塊動態範圍測試圖)來說,這並不難做到(線性測試圖則比較困難)。由於色塊排列方式,當耀斑光主導畫面時,色塊亮度會停止下降。這一點在上圖的底部兩行中清晰可見,這兩行影像從上到下逐漸變暗——垂直於色塊排列方向。當色塊亮度停止下降時,我們可以確定耀斑光主導畫面;也就是說,此時畫面已超出相機動態範圍。對於超出斜率動態範圍的色塊,情況也是如此。

因此,將所有基於質量的 DR 測量限制為基於斜率的 DR(最大值)是有意義的。

在Imatest 5.2中, 「選項 II」視窗(可透過Imatest主視窗右下角的按鈕存取)提供了一個選項,用於選擇是否將基於品質的動態範圍限制為基於斜率的動態範圍。選取該複選框後,限制值將顯示在結果顯示中。

關鍵結論——在我們過去測試過的高品質單眼/微單鏡頭中,眩光並非問題,但它已成為近期面向汽車或安防行業的低成本鏡頭性能的主要限制因素。我們已經看到,眩光雖然可以改善傳統的動態範圍測量結果,但卻會降低相機的實際動態範圍。

我們解決此問題的方法是將基於品質的動態範圍 (DR) 測量(從信噪比 SNR ≥ 20dB 表示高品質到 SNR ≥ 0dB 表示低品質的密度範圍)限制為基於斜率的動態範圍。這樣做的原因是,對於超出基於斜率的限制的區域(即像素值對數與曝光量對數的斜率低於最大斜率的 0.075 倍的區域):

  • 對比度太低,影像特徵無法清晰辨認。

  • 訊號主要受耀斑光的影響,導致測試圖表中的真實訊號被掩蓋;也就是說,「訊號」是偽影,而不是真實訊號。

透過這種方式限制基於品質的 DR 可以顯著提高測量精度,更重要的是,還可以防止劣質鏡頭被用於對汽車安全至關重要的應用中。