傾斜邊緣的影像資訊度量:說明

這項工作的基本前提是資訊容量是一種更優越的衡量標準。
用於預測成像系統的性能。

它比銳化或雜訊更好,因為它包含了銳化和雜訊, 而且它可以被使用。
推導出用於衡量目標和邊緣檢測性能的指標
以及用於設計最佳化系統性能的電子濾波器。

相關頁面

影像資訊指標:資訊容量及更多內容包含有關影像資訊指標的文件、白皮書、新聞等的關鍵連結。

在2024年電子成像會議上發表的論文《傾斜邊緣的影像資訊量測》對影像資訊量測進行了最佳闡述。以下列出的白皮書也從不同程度上介紹了這個內容。

《傾斜邊緣的資訊容量測量:方程式與演算法》 (舊文件)包含了本頁的大部分方程,但我們推薦EI 2024 論文作為參考。

傾斜邊緣法速度快、方便,最適合測量總資訊容量,因此建議用於大多數應用;但西門子星形法(2020)更適合觀察影像處理偽影(去馬賽克、資料壓縮等)的影響。

快速入門-取得影像資訊指標

  1. 選擇一張傾斜邊緣的影像進行分析。建議使用自動偵測圖表,包括SFRplus 、 eSFR ISO 、 Checkerboard或SFRreg ,但手動選擇的SFR也完全可勝任。
  2. 如有必要,可以模擬銳利化和低通濾波的效果,以預測它們對目標和邊緣偵測的影響,如《影像資訊度量的影像處理》所述。
  3. 執行 Imatest 模組以測試圖表影像: SFRplus 、 eSFR ISO 、 Checkerboard 、 SFRreg或SFR 。這些模組可以在互動式( Rescharts )模式下運行,用於建立和探索設置,也可以在可批次處理的自動模式下運行。
  4. 關鍵設定:資訊容量計算、分箱(建議使用 Imatest 22.1) 、線性化。
  5. 結果以多種圖表形式呈現。

背景閱讀:電子成像 2024 會議論文《傾斜邊緣的圖像資訊測量》是首選。此外,《影像資訊度量:資訊容量及其他》等相關白皮書也很有幫助。

新測量方法簡介

本頁包含取得影像資訊指標的說明。這些測量利用了傾斜邊緣的新發現特性——Imatest最常用的用於測量 SFR(MTF)的模式。大多數影像科學家對這些指標並不熟悉,原因在於:(A) 它們大多局限於醫學影像領域,且傳統上難以測量;和/或 (B) 它們源自資訊理論,而資訊理論是電子通訊的基礎,但難以應用於影像領域。

新的指標源自於兩種截然不同但又互補的影像雜訊測量,這兩種測量都是透過傾斜邊緣進行的,並且都可以用來計算資訊容量。

  1. 邊緣方差法可以方便地測量空間相關的雜訊。
  2. 雜訊影像方法測量雜訊功率(維納)頻譜,並用它來計算幾個額外的影像資訊指標( NPS 、 NEQ 、 SNRI 、 Edge SNRi等)。

本頁介紹了新的指標,展示如何取得這些指標,然後展示了一些關鍵結果。

詳細的演算法在《傾斜邊緣的資訊容量測量:方程式和演算法》中給出。

計算結果匯總

為方便起見,此處提供計算概要。更多細節可參考「影像資訊量測:資訊容量及其他」 ,尤其是EI 2024論文「 傾斜邊緣的影像資訊量測」 。

A:邊緣變異數計算概要

將掃描線相加得到平均邊緣。

從傾斜邊緣的影像(原始 ROI ,見下文)開始,這些影像通常由 4:1 對比度圖表產生(儘管 2:1 到 10:1 之間的圖表對比度也是可以接受的),標準的傾斜邊緣演算法

  1. 找到每條掃描線的中心(沿著大致垂直於邊緣的水平或垂直方向測量),
  2. 然後,將中心擬合到多項式曲線,
  3. 根據多項式在掃描線上的位置,將掃描線的內容加入四個箱子中的一個。
  4. 然後將每個箱的平均值交錯排列,形成 4 倍過採樣邊緣μ s ( x ) ,其雜訊比單一掃描線低。
斜邊電壓V ( x ) 的統計數據

接下來,將每條掃描線的平方加到對應的箱中,以計算邊緣訊號的變異數σ s 2 ( x ) ,這相當於其雜訊功率N ( x ) 。

主要結果如下:

C4是直接從 4:1 對比傾斜邊緣測量的香農資訊容量。 C4 是C <sub>n</sub>的一個特例,對於n :1 的對比(強烈建議使用 ISO 標準 4:1), C<sub> n</sub>對圖表對比度和曝光敏感,因此可用於測量性能與曝光的關係,但C<sub> 4 </sub> 並非直接測量相機最大資訊容量。

C <sub>max</sub>是衡量相機最大資訊容量較為穩定的指標,它是由C<sub> 4 </sub>推導而來。此外,它對曝光不敏感,至少對於雜訊是訊號已知函數的線性感測器而言是如此。

B. 雜訊影像計算摘要 完整詳情請點擊此處

從低雜訊非分箱/反向投影 ROI 影像中減去雜訊影像,得到雜訊影像。

此方法涉及反轉 ISO 12233 的分箱過程。注意到 4 倍過採樣邊緣是透過交錯 4 個分箱的內容創建的,我們應用分箱演算法的逆過程,將每條掃描線的內容設定到其對應的分箱中(請參閱下文「逆分箱... ROI 」)。由於逆分箱後的影像幾乎沒有噪聲,因此可以透過從原始影像中減去逆分箱後的影像來產生雜訊影像。此影像使用帕塞瓦爾定理進行縮放,該定理指出雜訊功率譜的積分等於空間功率的積分。對於雜訊功率N ( f )和N ( x ) 。透過將平均值(零值)調整為中灰色來顯示雜訊影像,如下圖所示的雜訊影像。

雜訊影像法的關鍵測量指標。其中許多指標應用於醫學放射學。
測量描述
雜訊功率譜 NPS ( f )在邊緣方差法中, NPS ( f ) 被隱式地假設為常數(白噪聲)。雜訊幅度(電壓)頻譜。
噪音自相關性雜訊電壓譜的逆傅立葉變換。與感測器電串擾相關。實驗研究。
雜訊等效量子
NEQ ( f )和NEQ資訊( f )
頻率相關訊號雜訊比 (SNR) 的測量。  NEQ (f) 已被用於量化醫學影像質量,但在一般影像領域卻鮮為人知。 NEQ( f )等價於光子散粒雜訊占主導地位時感測器偵測到的光子數。 當到達影像感測器的量子密度已知時,此方法適用於計算數位量子效率 (DQE)。 NEQ info ( f )由下列公式導出:使其非常適合計算資訊容量C NEQ 。
資訊能力
C 4-NEQ
和C max-NEQ
對應於邊緣方差法中的C4和Cmax ,但源自NEQ info ( f) 。它們很接近,但不完全相同。
理想觀察者信噪比
SNRi
Skorka 和 Kane [ 9 ] 指出,「理想觀察者是貝葉斯決策者,它最大化了具有兩個可能結果的假設檢定的統計精度。」SNRi 是物體(正方形或矩形)可檢測性的度量。
Edge SNRI邊緣訊號雜訊比 (Edge SNRi) 是衡量邊緣可偵測性的指標(從物體的梯度獲得)。

為什麼需要兩種噪音測量方法?

用於測量訊號存在下雜訊的兩種方法N ( x )和N ( f )是互補的:兩者都是獲得完整指標集所必需的。我們在此提及它們是為了澄清因資訊容量 C 的兩種略有不同的計算方法而可能造成的混淆。

邊緣方差法於2022年10月下旬首次開發,並在2023年電子成像大會上進行了簡短(10分鐘)的介紹。此方法利用從傾斜邊緣測量的空間相關雜訊功率N ( x )來計算資訊容量C。雜訊影像法於2023年春季開發,它測量雜訊功率(維納)譜N ( f ) ,該譜必須使用N ( x )進行歸一化。這使得可以計算多種影像資訊指標(例如NEQ ( f )、 SNRi 、邊緣SNRi等)。

為了報告資訊容量,我們目前建議使用雜訊影像法C NEQ的結果,該方法略微更準確,因為它計算的是雜訊功率譜NPS ( f ) ,而邊緣方差法則假設NPS是平坦的(白色)。另一方面,邊緣方差法可以為雙邊濾波影像(大多數消費級相機拍攝的 JPEG 影像)提供有用的(儘管並不完美)結果,但雜訊影像法僅適用於經過均勻處理或極少處理的影像。

兩種噪音測量方法: N ( x )和NPS ( f )

模擬影像處理的效果

可以透過模擬銳利化和低通濾波的效果來預測它們對目標和邊緣偵測性能的影響。這可以用來回答許多重要問題,例如:

有關如何套用影像處理的完整說明,請參閱「影像資訊指標的影像處理」 。

取得影像

eSFR ISO圖表。自動偵測 ROI,結合 MTF、顏色、色調和雜訊測量。

在均勻、無眩光的環境下,拍攝任意斜邊測試圖( SFRplus 、 eSFR ISO 、棋盤格、 SFRreg或SFR )的曝光良好的影像。盡可能使測試圖邊緣對比達到 4:1(ISO 12233 標準)。對比度範圍為 2:1 至 10:1。影像擷取過程與標準 MTF 測量基本相同。

如果您不確定哪種斜邊圖表最適合您的需求,則主文檔頁面中有一個比較表。

在比較相機時,曝光一致性至關重要,因為曝光會影響資訊容量的測量。 (曝光對MTF測量的影響僅為次要的。)如果可能,完美曝光的傾斜邊緣區域的平均像素值應在0.20到0.26的範圍內,但只要影像沒有飽和,就有很大的操作空間。

另一方面,在低光源表現受到關注的情況下,測量C 4與曝光量的關係可能很有意義。

為獲得最佳效果,傾斜邊緣感興趣區域 (ROI) 沿邊緣的寬度應至少為 100 像素。像素過少會導致結果一致性較差。

ROI區域顯示出JPEG偽影。為獲得最佳效果,邊緣應位於ROI區域的中心。

取得影像的技巧

均勻性-圖表的照明應盡可能均勻。簡單的(一級)不均勻性可以校正。未平整安裝的圖表可能存在無法校正的不均勻性(彎曲),導致資訊容量嚴重下降。

JPEG偽影-低品質的JPEG影像會非常難看,並嚴重降低測量結果。右側的範例(放大4倍)展示了JPEG偽影和鋸齒狀邊緣。這張圖片在遠離邊緣的位置進行了明顯的降噪處理,而且用於傳輸影像的網站可能使用了低品質壓縮。如果為了方便電子郵件附件而必須將影像儲存為JPEG格式,請務必使用高品質的JPEG影像。

運行 MTF 計算模組

運行相應的斜邊模組,可以在以下兩種情況下運行:

推薦設定

在計算影像資訊指標之前,建議進行一些設定。

資訊容量計算

在「設定」視窗中,從「資訊容量顯示」下拉式選單中選擇適當的設定。  這可能不太容易察覺。 計算資訊容量會略微降低操作速度。以下是兩個範例。此設定也位於SFR 設定和Rescharts SFR 設定視窗中。

資訊容量雜訊計算設置,來自一系列
Rescharts 設定窗口,用於自動偵測斜邊模組
資訊容量噪音計算設置,
從 Rescharts 的「更多設定」視窗左側

完整的視窗和完整的說明在SFRplus 、 eSFR ISO 、 Checkerboard 、 SFRreg或SFR 。

噪音計算方法不同的原因是

如果選擇資訊容量計算(如下2-5所示),則會同時執行邊緣方差和雜訊影像計算。這些設定會影響邊緣/MTF顯示,而該顯示空間有限。當在下方圖表中選擇「結果總結」時,兩種方法的結果都會顯示在「雜訊頻譜、NEQ、SNRi」圖中。

#環境描述最適合
1.沒有資訊容量計算速度略快於計算資訊容量。它幾乎只適用於高速即時影像擷取。速度最快,但優勢並不明顯,因為在重新載入時資訊上限計算會被關閉。
2.計算資訊容量:自動邊緣雜訊偵測根據雜訊峰值的偵測結果(存在或不存在)選擇雜訊計算方法。 建議用於大多數圖像。如果影像處理已知且一致(經過最小/均勻處理或雙邊濾波),則選擇選項 3 或 4 即可。對於未知影像處理:“黑盒子”
3.使用平均邊緣雜訊的資訊上限(適用於均勻/最小處理的影像)對於由原始影像轉換而來,並經過最少或均勻處理(無雙邊濾波)的影像。對於經過均勻/最少處理的影像
4.使用平滑峰值雜訊的資訊上限( 適用於雙邊濾波影像)對於雙邊濾波影像(包括大多數消費級相機拍攝的JPEG影像),此方法有效。它適用於均勻處理的影像,但結果不如方法(1)穩定。對於雙邊濾波影像(大多數消費級相機JPEG影像)
5.使用平均邊緣雜訊(不包括峰值區域)的資訊容量先前添加此功能是為了解決灰塵顆粒導致均勻銳利化影像中出現虛假峰值的問題。現在基本上已修復。通常情況下,此功能與第 3 點相同。 

分箱-在「更多設定」視窗的左下角,選擇 Imatest 邊緣運算方法之一,最好選擇Imatest 22.1(建議) 。截至撰寫本文時,該方法可產生最可靠的結果。

線性化方法-有多種方法可供選擇。如果已知圖表對比(資訊容量測量幾乎必須知道),請輸入圖表對比(建議為 4),然後選擇「根據圖表對比計算 Gamma 值」 。此設定的影響不大,但當需要測試具有不同影像處理技術的相機時,此選擇相當可靠。

其他設定-勾選「加速」 (避免不必要的運算)、 「MTF降噪(模式apod)」 (對雜訊結果進行輕微清理)。若有可見的照明不均勻性,請勾選「不均勻性MTF校正」 。

噪音設定(可能不會影響資訊指標)可以透過Rescharts 更多設定視窗中的按鈕進行設定。

設定完成後,按“確定”按鈕分析影像。可以選擇任意顯示方式,但只有少數幾種(如下所示)用於顯示資訊指標。運行固定模組也能獲得相同的結果。

利用訊號平均法平滑粗糙結果

有時,對於雜訊較大的影像,MTF 或 NEQ 等結果(或任何其他結果)可能會比較粗糙。這是因為傾斜邊緣的興趣區域 (ROI) 通常小於最佳值。解決此問題的可靠方法是訊號平均:擷取多個相同的影像,然後對它們進行平均以進行分析。將N 個平均訊號進行平均,可以將訊號雜訊比 (SNR) 提高 N 的平方根( N值每增加一倍,訊號雜訊比提高 3 dB)。

資訊容量/SNRi/NEQ的計算,雜訊功率乘以平均次數N<sub> avg</sub> 。這不會導致結果有系統性變化,只是使結果更一致。

以下是訊號平均帶來的改進範例。

影像雜訊較多(ISO 12800)含雜訊影像, n avg = 10 次平均

訊號平均的優勢

訊號平均法幾乎適用於所有Imatest分析模組。
它對於隨機/散落的硬幣和對數 F 對比度特別有價值。

訊號平均的說明

結果:邊緣方差法及舊方法

邊緣/MTF 圖

上圖(邊圖)中已新增了資訊容量(針對單一邊)。其他內容未作更改。

下圖是使用高品質卡片相機拍攝的原始格式 eSFR ISO 圖表影像。

由原始影像經最小處理轉換而來的 eSFR ISO 影像的邊緣/MTF 結果

同時顯示資訊容量C 4 (適用於 4:1 對比圖表;對曝光非常敏感)和C max (最大資訊容量;對曝光相對不敏感)。

邊緣和資訊容量噪聲

這是邊緣和MTF圖的一個變體。上面的圖與之類似(儘管線擴散函數——邊緣的導數——對於此圖來說尤其重要)。

線擴散函數 (LSF) 和訊號相關雜訊σ來自
eSFR ISO 影像由 RAW 格式影像轉換而來,僅經過少量處理。

實線是經過寬度為 5 像素(4 倍過採樣,原始像素數為 1.25)的矩形核平滑後的雜訊。請注意,噪音非常粗糙,邊緣過渡附近沒有明顯的峰值。從圖表的局部觀察可以看出,雜訊曲線上的凸起似乎是隨機的,並且不具有重複性。

現在有趣的部分來了。以上圖表所使用的影像源自原始影像,僅經過極少的處理(直線伽瑪曲線;未進行銳利化或降噪-當然也未進行雙邊濾波)。以下是同一採集過程的相機內JPEG影像的處理結果。請注意邊緣附近的大雜訊峰。我們使用方法(1)計算香農-哈特利方程式的噪聲,該方法對邊緣附近相當寬的區域進行平均。

線擴散函數 (LSF) 和訊號相關雜訊σ來自
eSFR ISO 影像以 JPEG 格式拍攝(經過強銳利化和雙邊濾波處理)

方法 (2):使用平滑邊緣雜訊的最大值來計算資訊容量的雜訊。此方法建議用於雙邊濾波的 JPEG 影像,因為它使用雜訊峰值附近相對較窄的區域來測量雜訊。資訊容量C4 = 3.11 b/p 僅略高於 TIFF 的 3.0 b/p。如果選擇方法 (1)(對大區域進行平均,未突出峰值),則C4 = 3.84 b/p:顯著大於原始測量值,顯然不準確。

3D繪圖和總資訊容量

C 4和C max已加入可用的 3D 圖中。

邊緣資訊容量C 4的 3D 圖

總資訊容量C <sub>total</sub> (以訊號電平為參考,本例為 4:1)的計算方法是將加權平均值(兩個資訊容量圖的所有權重皆設定為 1)乘以總像素數(以位元/像素為單位)。它顯示在平均資訊容量(以位元/像素為單位)旁邊。

在上圖中, C總計= 2.847 位元/像素 × 1600 萬像素 = 45.44 兆位元。顯示幕顯示邊緣資訊容量 C最大值 平均值:2.847;總 Mb:45.44 。

資訊相關:NEQ、SNRi 等顯示

影像資訊指標(NPS、NEQ、SNRi、邊緣 SNRi 等)以及幾個傳統指標(MTF、LSF 等)顯示在「資訊相關:NEQ、SNRi 等」顯示中。

這些結果是使用一台2400萬像素的微型4/3系統相機,搭配一支高品質的60mm定焦(微距)鏡頭,光圈設定為f/8,ISO設定為100拍攝的。所有色彩通道均已顯示。

資訊相關圖表的一個關鍵特點是它同時顯示兩個結果:一個在頂部,一個在底部,這使得比較和關聯不同的結果變得容易。在開發新指標的過程中,這項特點得到了廣泛應用。

Rescharts 顯示的線擴散函數 (LSF;上圖) 和
雜訊等效量子(NEQ;下圖)

兩個下拉式選單之間的「對數 x 軸」複選框(顯示在右側的紅色橢圓內)可讓您選擇頻率圖的線性或對數 x 軸。

在 Rescharts 圖表中紅色橢圓框內的上下圖表的「資訊相關...」下拉式功能表中,提供了大量結果選擇。  顯示區域, 位於右上角。

「 資訊相關…」 下拉式選單有點臃腫,包含的條目過多(需要滾動才能查看全部條目)。未來版本可能會對此進行改進。

 
snriperpix2
     
上、下地塊符號來自EI2024 論文。
雜訊電壓頻譜NPS ( f )也稱為維納譜。它是計算核函數的重要中間結果。以及其他關鍵指標。
雜訊功率譜(NPS) 
雜訊等效量子 (NEQ)頻率相關的信噪比功率,表示光子主導訊號入射到像素上的量子數。
SFR(MTF)空間頻率響應(又稱調製傳遞函數)。衡量清晰度的關鍵指標。
邊緣線性化未歸一化μ S ( x )平均邊緣(ISO 分箱演算法的輸出)
線擴散函數(LSF)邊的導數
邊緣雜訊幅度
噪音自相關性IFFT( NEQ ( f ))與感測器串擾相關的實驗測量。
SNRi 方形 wxw正方形物體的理想觀察者訊號雜訊比(邊長為w × w像素)。
SNRi矩形 wx 4w矩形物體的理想觀察者訊號雜訊比(邊長為w × 4 w像素)。
每像素SNRi平方²每個像素的信噪比為2,適用於w × w 的正方形區域。趨於穩定;不會無限增加。
每像素SNRi矩形²每個像素的訊號雜訊比為2,適用於w × 4 w 的矩形區域。數值趨於穩定,不會無限增長。
LSF 雙峰位移線擴散函數雙峰位移與間距的關係
LSF 雙峰振幅線擴散函數振幅隨間距的變化
LSF雙峰訊號雜訊比能量線擴散函數能量隨間距的變化
Edge SNRi 方形 wxw邊 SNRi 適用於w × w正方形。
Edge SNRi 矩形 wx 4w邊 SNRi 適用於w × 4 w矩形。
Edge SNRi 1D 雙透鏡邊緣訊號雜訊比 (SNRi) 用於長1D 物體。
物件匹配過濾器F匹配對象( f )優化 SNRI 的匹配濾波器的響應
邊緣匹配濾波器 F <sub>matched-edge</sub> ( f ) = f × F <sub>matched-object</sub> ( f )匹配濾波器的響應,用於優化邊緣訊號雜訊比增強
 
僅限下部地塊
原始影像裁剪原始(輸入)ROI
未分箱影像裁剪 反向投影;低噪音
雜訊影像裁切原始影像 – 雜訊影像,經過提亮和對比度增強處理以用於顯示。
結果總結文字顯示了邊緣方差和雜訊影像方法的C4和C max ,以及其他結果,其中一些是實驗性的,可能會發生變化。
物體可見性影像一張合成影像,展示了不同尺寸(1×1 至 14×14 像素)和米歇爾遜對比度(4:1 圖表對比度為 0.6,其他對比度為 0.3 和 0.15)的正方形的可見性。大圖版本覆蓋了顯示器的上下區域。
物體可見度 - 大
 

資訊相關:NEQ、SNRi 等顯示摘要。較不重要或實驗性結果以灰色背景顯示。

雜訊功率譜或電壓譜 (NPS)

雜訊功率(維納)圖和電壓譜圖形狀相同,僅 y 軸標籤不同。 NPS是一種中間計算方法,用於計算許多影像資訊指標。

一維雜訊功率譜或電壓譜是透過對雜訊影像進行二維傅立葉變換 (FFT) 得到的。初始二維 FFT 在影像中心處頻率為零。影像被分割成若干環形區域,並計算每個區域的平均雜訊功率。
EI 2024 論文中的方程式/演算法,方程式 (13),圖 16

雜訊等效量子 (NEQ)

圖中所使用的標準NEQ是基於平均訊號電壓V <sub>mean</sub> ,如上所示。而基於NEQ的資訊容量C<sub> NEQ </sub>則使用不同的電壓V<sub> PP</sub> /sqrt(12)來計算。

由於傾斜邊緣 ROI(感興趣區域)的尺寸相對較小,因此 NEQ 圖比較粗糙。
EI 2024 論文中的方程式/演算法,方程式 (15),圖 17

空間頻率響應(SFR/MTF)

請注意,y 軸是對數座標。 x 軸可以是線性座標(如圖)或對數座標。由於 y 軸是對數座標,因此該圖與標準Edge/MTF 圖中的 MTF 圖略有不同。

邊緣線性化未歸一化,V(x)

此外,在標準邊緣/MTF圖中也可見。可用於觀察銳化造成的過衝現象。

用於計算香農-哈特利方程式在邊緣方差計算中的訊號功率S。

線擴散函數,LSF(x) = dV(x)/dx

此外,如上所示的邊緣和資訊容量雜訊圖中也存在這種情況。

MTF ( f ) = |FFT( LSF ( x ))|,在零頻率處歸一化為 1。

雙邊濾波影像在邊緣附近存在雜訊峰值,而LSF在該邊緣處達到最大值。

邊緣雜訊幅度

使用 1.25 像素平滑核進行平滑處理。此外,在上方所示的邊緣和資訊容量雜訊圖中,也展示了來自同一影像擷取的最小處理影像和雙邊濾波影像。

此圖中的峰值表示雙邊濾波影像(消費級相機拍攝的 JPEG 影像中常見)。

EI 2024 論文,噪音功率部分, N

理想觀察者對正方形或矩形的訊號雜訊比 (SNRi)。

SNRi是衡量小物可偵測性的指標。它可以用於邊長為w 的正方形和尺寸為w × 4w 的矩形,其中w為較短邊的長度(以像素為單位)。

Paul Kane [ 8 ] 和 Orit Skorka 和 Paul Kane [ 9 ] 的論文詳細討論了SNRi 。

SNRi 顯示器的一個問題是,隨著邊長w 的增加,它會變得非常大。這使得圖像難以解讀。 視覺上。

EI 2024 論文中的方程式/演算法,方程式(17-20),圖 20

每像素 SNRi [正方形或矩形] 2

雖然影像沒有完全平坦,但比普通的SNRi更容易進行視覺解讀。

EI 2024 報告,圖 21

Edge SNRI

與 SNRi 類似,但它是基於邊緣而非物體整體屬性的。圖中展示了w × w正方形、 w × 4 w矩形或一維雙體物體的情況。它不會隨著物體尺寸的增加而無限增大。

EI 2024 論文,公式(2-25),圖 26

物件匹配篩選器

圖中展示了對於寬度分別為 5、2 和 1 像素的目標,具有最佳邊緣訊號雜訊比 (ESRN) 的濾波器的傳遞函數(頻率響應)。此傳遞函數等於目標的傳遞函數乘以頻率。可用實際濾波器近似表示。我們需要確定設計濾波器的最佳實踐,以權衡目標性能和邊緣性能。

EI 2024 論文,公式 (27),圖 28

邊緣匹配濾波器

圖中展示了邊緣寬度分別為 5、2 和 1 像素時,具有最佳邊緣訊號雜訊比 (Edge SNRI) 的濾波器的傳遞函數(頻率響應)。此濾波器可以用實際濾波器進行近似。我們需要確定設計濾波器的最佳實踐,以權衡物件性能和邊緣性能。

EI 2024 論文,公式 (27),圖 29

LSF 雙聯移位

以像素為單位顯示雙峰位移與像素間距的關係,以對數顯示。這不是一項重要發現。

LSF 雙峰振幅

振幅隨像素間距的增加而加倍,以對數形式顯示。這不是一項重大發現。

LSF 雙峰訊號雜訊比能量(空間域)

以像素間距為橫座標,以對數形式顯示雙倍能量(∫振幅2 )。與一維雙峰的邊緣訊號雜訊比增強(Edge SNRI)結果相當。並非重大發現。

雜訊自相關(與感測器電串擾相關)實驗

此圖主要用於研發而非常規測試,旨在驗證以下假設:當去除去馬賽克和固定模式雜訊的影響,且主要雜訊源為光子散粒雜訊時,雜訊功率譜(以及自相關性)能夠指示影像感測器的電串擾量。這個假設的基本想法是,入射到感測器上的光完全不相關,因此如果沒有串擾,雜訊將呈現白雜訊特性。

右側的圖片已進行白平衡調整。

噪聲自相關曲線是噪聲頻譜的傅立葉逆變換,這是基於作者對維納-辛欽定理的有限理解而得出的。

右側影像未經白平衡處理。正如我們預期的那樣,紅色通道的自相關距離比其他通道更大。點擊圖片放大查看。

在影像統計模組中,也可以從平場影像獲得類似的自相關圖。照明不均勻性進行了校正,以降低遠距離的自相關性。
方程式/演算法

僅顯示下方圖表,位於 Rescharts 視窗的左下角

影像 ROI 裁切圖(原始影像、未分箱影像、雜訊影像)

我們在這裡展示了雜訊影像(ISO 12800)的 ROI 局部放大圖,其中原始影像和未合併影像之間的差異很容易看出。

所有圖像均經過伽馬編碼以便顯示。右側的雜訊影像已被提亮(其實際平均值為零)並增強了對比度。

去噪處理在去除雜訊方面的效果顯著。它是雜訊影像計算(NEQ、SNRi 等)的基礎。
方程式/演算法

原來的未分類噪音

結果總結

包含圖像屬性摘要。

底部幾行包含程式開發中用於檢查計算準確性的幾個變數。這些變數可以更新。

主要結果是資訊能力處於前50%。

C 4 (EdgeVar)和C max (EdgeVar)是從邊緣變異數方法推導出來的。

C4 (NEQ)和Cmax (NEQ)源自於雜訊鏡像法(之所以稱為 NEQ,是因為它們直接由 NEQ 計算得出)。它們並不完全相同,因為雜訊鏡像法使用測量的雜訊功率譜,而邊緣方差法則假設雜訊功率為白雜訊。

物件可見性

LARGE選項同時覆蓋上、下兩個繪圖區域,以提高可視性。

SNRi測量的目標是預測小型、低對比正方形或4:1矩形中的物體可見度。 SNRi預測結果需要視覺驗證。

我們為 Imatest 開發了一種顯示方式,它利用真實的傾斜邊緣圖像的內容和一些技巧來實現這一點。這種顯示方式與大多數其他Imatest顯示方式不同,因為它旨在進行感知判斷,基於原始圖像(很難對傾斜邊緣進行感知判斷)和計算出的線擴散函數(轉換為 2D)。

右側的結果來自一台ISO 12800的微型4/3系統相機拍攝的雜訊影像。正方形的邊長分別為w = 1、2、3、4、7、10、14和20像素。原始測試圖的對比為4:1(亮部/暗部=4),相當於邁克爾遜對比C <sub>Mich</sub> (亮部-暗部)為0.6。外側正方形的C <sub>Mich</sub> = 0.6,而中間和內側正方形的C <sub>Mich </sub>分別為0.3和0.15。

如何使用這些影像——邊緣附近不顯眼的洋紅色條紋旨在幫助您找到可能難以辨認的小方塊。訊號雜訊比(SNRi)曲線(至少在初始階段)用於圖表對比-強烈建議使用 4:1(ISO 12233 標準)。外側色塊對應於訊號雜訊比(SNRi)曲線,根據羅斯理論,訊號雜訊比為 5(14 dB)應對應於可見性閾值。這些色塊可以與訊號雜訊比(SNRi)曲線進行比較。
方程式/演算法

資訊容量與暴露程度(或暴露指數)的關係

可以透過在固定模組( SFR 、 SFRplus 、 eSFR ISO 、 Checkerboard或SFRreg )中運行一批影像,然後將結果(來自 ...-sfrbatch.csv 檔案)輸入 Batchview 來研究曝光對資訊容量C 4的影響。獲得理想結果需要幾個步驟。雖然可以快速完成,但仔細閱讀說明非常重要。

這項技術最適用於需要在低光源環境下良好工作的車載攝影機。這裡使用曝光指數 (EI) 來代替總曝光量。提高曝光指數會減少到達感測器的總光量,也就是說,曝光指數與總曝光量成反比。 (這對初學者來說可能比較難懂。)

我們將使用一組來自2400萬像素微型4/3系統相機的圖像,這些圖像在不同的曝光指數(EI;ISO感光度)下拍攝,以RAW格式(ARW)採集,然後使用LibRaw將其轉換為TIFF格式,並進行最少的處理:不進行銳化或降噪,僅應用簡單的伽瑪曲線,但進行白平衡和色彩校正。應盡可能避免使用JPEG文件,因為其雙邊濾波會降低計算精度。然而,對於車載相機而言,這可能難以避免,幸運的是,邊緣方差技術在C4解析度下也能提供良好的結果——精度僅略低於使用轉換後的RAW影像。

自動ROI偵測模組( SFRplus 、 eSFR ISO 、 Checkerboard或SFRreg )的第一步是使用互動式( Rescharts )程式執行映像,以確保設定正確。雖然SFR並非必須執行此步驟,但預覽結果仍然很有用。

概括

注意:在 Imatest 2020 之前使用的傾斜邊緣資訊容量測量方法(主要用於從西門子星形測量中獲得總資訊容量)已被完全棄用,因為它不夠準確。

連結( 白皮書中還有更多連結)

  1. CE Shannon,“ 通訊的數學理論”,貝爾系統技術雜誌,第27卷,第379-423頁,1948年7月;第27卷,第379-423頁。
    623–656,1948 年 10 月。
  2. CE Shannon,“ 噪音環境下的通訊”,IRE 會議論文集,1949 年 1 月,第 10-21 頁。
  3. 維基百科-香農-哈特利定理是香農方程式的頻率相關積分形式,可應用於 Imatest 的正弦模式和傾斜邊緣香農資訊容量計算。
  4. IA Cunningham 和 R. Shaw, “醫學影像系統的信噪比最佳化”,第 16 卷,第 3 期/1999 年 3 月/第 621-632 頁/美國光學學會雜誌 A 輯
  5. Brian W. Keelan,“噪聲等效量子成像應用”,載於IS&T 國際電子成像研討會論文集:圖像品質和系統性能 XIII ,2016 年, https://doi.org/10.2352/ISSN.2470-1173.2016.13.IQSP-213 。
  6. Michail C、Karpetas G、Kalyvas N、Valais I、Kandarakis I、Agavanakis K、Panayiotakis G、Fountos G.,正子斷層掃描掃描儀的資訊容量。晶體。 2018;8(12):459。 https ://doi.org/10.3390/cryst8120459 。
  7. Christos M. Michail、Nektarios E. Kalyvas、Ioannis G. Valais、Ioannis P. Fudos、George P. Fountos、Nikos Dimitropoulos、Grigorios Koulouras、Dionisis Kandris、Maria Samarakou、Ioannis S. Kandarakis,「數位乳房和乳房影像」的尺寸,卷線攝影圖 卷線,圖 卷線攝影圖,卷線攝影圖 卷線。 2014 年,文章 ID 634856,11 頁,2014 年。 https://doi.org/10.1155/2014/634856 。
  8. Paul J. Kane,“信號檢測理論和汽車成像”, IS&T 國際電子成像研討會:自主車輛和機器會議論文集,2019 年,第 27-1 - 27-8 頁, https://doi.org/10.2352/ISSN.2470-1173.2019.15.AVM-027 。
  9. Orit Skorka、Paul J. Kane,“使用理想觀察者模型進行目標檢測”, IS&T 國際電子成像研討會:自主車輛和機器,2020 年,第 41-1 - 41-7 頁, https://doi.org/10.2352/ISSN.2470-1173.2020.10.2352/ISSN.2470-1173.2020.16.A 。
  10. R. Shaw,「 傅立葉技術與資訊理論在攝影影像品質評估的應用」 ,《攝影科學與工程》,第6卷,第5期,1962年9-10月,第281-286頁。轉載自Rodney Shaw編輯的《影像評估精選讀本》,SPSE(現為SPIE),1976年。文中對膠卷資訊容量的計算進行了深入而複雜的分析。 可供下載。
  11. X. Tang、Y. Yang、S. Tang,《差分相位對比CT與常規CT成像性能的表徵:噪聲等效量子NEQ(k)譜》 , Med Phys. 2012年7月;39(7): 4467–4482。2012年6月29日在線發表。 doi : 10.1118/1.4730287 。

附錄1. 資訊能力簡述

攝影科學家和工程師強調,沒有任何一個數字能令人滿意地描述攝影系統再現被攝對像小尺度特徵的能力。
克勞德·香農

挑戰總是令人興奮的!電子通訊頻道就有一個這樣的指標──它量化了頻道在無誤差情況下能夠傳遞的最大資訊量。此指標包含了清晰度和雜訊(膠片上的顆粒感)。而相機——或任何數位成像系統——就是這樣一個頻道。

此指標最早由貝爾實驗室的克勞德·香農於1948年發表[ 1,2 ],現已成為電子通訊產業的基礎。它被稱為香農頻道容量或香農資訊容量C ,其公式看似簡單[3]。 (更多詳情請參閱維基百科關於香農-哈特利定理的頁面。)   

 

W  是頻道頻寬,  S ( f )  是平均訊號能量(訊號的平方)。  電壓;與MTF ( f ) ²成正比,而N ( f )是平均雜訊能量(均方根雜訊電壓的平方),對應於膠片顆粒。它看起來很簡單(只比E = mc²略微複雜一些),但應用起來並不容易。

克勞德·香農是一位真正的天才。 《與克勞德·香農共度一萬小時:天才如何思考、工作與生活》這篇文章非常值得一讀。 《紐約客》和《科學美國人》上也刊登過一些關於他的精彩文章。 IEEE也有一篇文章,將香農與機器學習和人工智慧的發展連結起來。我特別對時長29分鐘的影片《克勞德·香農-資訊時代之父》感興趣,這部影片由加州大學聖地牙哥分校記憶與記錄研究中心製作,我以前工作時常去那裡。

本頁介紹如何從傾斜邊緣影像(Imatest 最常用的測試影像)中計算資訊容量C ,以及如何從同一位置計算訊號和噪聲,從而獲得更優的影像品質測量結果。先前(2020 年)的西門子星形方法已在「基於西門子星形的香農資訊容量」一文中進行了描述。

計算背後的數學和演算法在 《傾斜邊緣的資訊容量測量:方程式和演算法》中進行了介紹。

附錄 2. 線性感測器最大資訊容量 C <sub>max </sub> 的計算

步驟1:將測得的峰峰值電壓範圍Vpp替換為最大允許值,即Vp -p_max = 1。這看似簡化,但對大多數相機都適用。請參閱訊號功率S部分,

步驟 2:以N_mean取代測得的雜訊功率N ,即N在0 ≤ V ≤ 1範圍內的平均值(其中 1 為最大允許歸一化訊號電壓V )。線性影像感測器的雜訊功率N與V的函數關係的一般方程式為:

k₀是恆定雜訊係數(暗電流雜訊、約翰遜(電子)雜訊等)。 k₁ 是光子散粒雜訊係數。它們由雜訊功率N₁ = σ₁²和N₂ = σ₂²計算得出,這些雜訊功率與邊緣躍遷兩側的訊號電壓V₁和V₂一起測量。

假設N 1 = k 0 + k 1 V 1和N 2 = k 0 + k 1 V 1 ,我們可以解出兩個關於k 0和k 1的未知數的方程式。

N與雜訊計算方法 (1) 中使用的雜訊非常接近(此方法適用於未經雙邊濾波的最小處理影像)。但如果使用方法 (2)(平滑峰值雜訊)(建議用於經過雙邊濾波的相機內 JPEG 影像),則N通常較大,必須進行調整。

N → k N N ,其中k N = N方法_2 / N方法_1

在雙邊濾波影像(大多數消費級相機拍攝的JPEG影像)中,低通濾波(用於降噪)可能會對N1和N2產生足夠大的影響,以至於方程式不再可靠地成立。這會對Cmax的準確性產生不利影響。

計算Cmax時, 0 ≤ V ≤ 1範圍內的平均雜訊功率Nmean為

為了處理邊緣暗側雜訊較大(奇怪的影像處理)這種罕見但並非未知的情況,可以使用N mean = max( N mean , N 1 ,N 2 ) 。

使用 ,

由於高動態範圍 (HDR) 感測器中的雜訊不遵循線性感測器的簡單方程,我們建議給予影像足夠的曝光,使邊緣較亮的一側接近(但肯定低於)飽和度,然後保持N不變( N平均值= N )。

對於使用線性感測器的最小或均勻處理的影像, C max幾乎與曝光無關,其中雜訊功率N是訊號電壓V的已知函數。

附錄 3:JSON 輸出

透過儲存 JSON 摘要文件取得(在 Rescharts 中按「儲存資料」)。

筆記

"edge_info_note1": "資訊容量結果。對於彩色影像,通道為 RGBY;對於拜耳陣列,通道為 R GR B GB",
"edge_info_note2": "V_P_P 及後續結果包含每行一種顏色的 nroi 結果",

以下結果包含 4 行 RGBY 通道;6 列 6 個 ROI。

訊號V PP  
"edge_info_signal_V_P_P": [

[0.2271,0.2283,0.2199,0.2125,0.1971,0.1887],
[0.2292,0.2302,0.2209,0.2157,0.1994,0.1889],
[0.2358,0.2354,0.2239,0.1998,0.2075,0.1886],
[0.2292,0.2301,0.2209,0.2138,0.1995,0.1889]

],

平均空間相關噪聲
"edge_info_noise_V_RMS": [

[0.0062,0.0061,0.0056,0.0057,0.0059,0.0064],
[0.006,0.006,0.0054,0.0059,0.0058,0.0065],
[0.0061,0.0063,0.0062,0.007,0.0062,0.0076],
[0.0058,0.006,0.0052,0.0058,0.0058,0.0064]

],

峰值平滑噪音
"peak_smoothed_noise": [

[0.0149,0.0179,0.0137,0.0151,0.0172,0.0128],
[0.015,0.0177,0.0132,0.0151,0.0172,0.0131],
[0.0156,0.0185,0.0146,0.016,0.0181,0.0134],
[0.0151,0.0178,0.0132,0.0151,0.0172,0.0129]

],

峰值平滑雜訊/平均雜訊比:用於偵測高於閾值(1.8*max(左側平均值,右側平均值)的雙邊濾波)。
"pk_smoothed_to_mean_noise_ratio": [

[2.413,2.922,2.449,2.637,2.933,2.02],
[2.508,2.946,2.455,2.554,2.985,2.018],
[2.573,2.953,2.343,2.296,2.917,1.76],
[2.576,2.972,2.525,2.607,2.996,2.009]

],

偵測到的位置(以像素為單位)的標準差( σ (位置))
"sigma_location_pxls": [

[0.068,0.085,0.126,0.129,0.124,0.112],
[0.068,0.083,0.12,0.128,0.123,0.113],
[0.069,0.084,0.129,0.144,0.123,0.114],
[0.068,0.083,0.12,0.128,0.123,0.112]

],

訊號/雜訊均方根值(我們不確定此項測量的目的;可能不會保留。)
"edge_info_snr_RMS": [

[12.9707,13.1877,13.8628,13.1201,11.8556,10.5008],
[13.5087,13.509,14.5215,12.8755,12.2126,10.3129],
[13.7273,13.286,12.6874,10.1264,11.821,8.7738],
[13.8613,13.6161,14.9063,13.0611,12.2589,10.3593]

],

邊緣變異數資訊容量 C_4
"edge_info_capacity_C_4_b_p": [

[2.031,1.651,1.231,1.167,1.148,2.201],
[2.032,1.671,1.27,1.175,1.16,2.179],
[2.023,1.654,1.198,1.076,1.144,1.983],
[2.031,1.67,1.269,1.172,1.16,2.185]

],

邊緣變異數資訊容量 C_max
"edge_info_capacity_C_max_b_p": [

[4.032,3.471,2.737,3.166,2.926,4.023],
[4.005,3.501,2.86,3.023,3.084,3.976],
[4.032,3.495,2.62,2.924,2.916,3.724],
[4.044,3.513,2.876,3.112,3.038,3.982]

],

來自雜訊影像 (NEQ) 資訊容量的 C_4... 取代了 edge_info_capacity...
"info_capacity_C_4_NEQ_b_p": [

[2.128,1.567,1.056,0.8549,1.097,2.254],
[1.973,1.544,0.9904,0.9072,1.073,2.279],
[1.883,1.614,1.058,1.075,1.036,2.382],
[1.875,1.526,0.9486,0.8741,1.046,2.262]

],

來自雜訊影像資訊容量的 C_max... 取代了邊緣資訊容量...
"info_capacity_C_max_NEQ_b_p": [

[4.128,3.387,2.562,2.854,2.874,4.076],
[3.947,3.374,2.58,2.756,2.997,4.075],
[3.891,3.455,2.48,2.923,2.808,4.122],
[3.888,3.368,2.556,2.814,2.925,4.059]

],

平均影像數量([1] 表示不進行訊號平均)
"signal_averages_for_info": [1],

總最大資訊容量(以兆位元組為單位,包含所有感興趣區域)。以三維圖形式展示 C_max。
"edgeInfoCapacityMax_total_Mb": [23.39],

各區域的分區指示器,顯示所選頻道。
"edge_info": {
“通道”: “Y”,

下面顯示的是 NPS 和 NEQ 的頻率(週期/像素)。範圍為 0 和 0.05 到 0.5,步長為 0.05。
"NPS_NEQ_frequency": [0,0.05,0.1,0.15,0.2,0.25,0.3,0.35,0.4,0.45,0.5],

SNRi 和 Edge SNRi 的寬度(以像素為單位)(4:1 矩形的較短邊)
"SNRi_box_width": [20,14,10,7,5,4,3,2.5,2,1.4,1,0.7,0.5],

各個區域的結果以「ROI」表示,圖中僅顯示了其中 2 個區域的結果。

ROI 指示該區域。
雜訊功率譜(NPS)
雜訊等效量子 (NEQ)
SNRI_square。所有框寬從 20 到 0.5 的 SNRi。
SNRi_rectangle
edge_SNRi_square。取代 SNRd_square——24.2 試點計畫之前已過時的名稱。
edge_SNRi_rectangle 取代了 SNRd_rectangle—一個過時的命名方式

“ROI_results”:[
{

「投資報酬率」:[1],
"noise_power_spectrum": [0.002352,0.000627,0.0005093,0.0003993,0.0003269,0.0003086,0.0002547,0.0001938,0.0001532,06.
"noise_equivalent_quanta": [28.98,110.9,170.2,279.3,357.6,317.5,274.2,215.5,147.9,111.9,106.6],
"SNRi_square": [42.16,39.41,37.03,34.55,32.22,30.79,28.8,27.34,25.33,21.34,16.72,11.21,5.705],
"SNRi_矩形": [49,45.79,43.04,40.28,37.78,36.27,34.35,33.03,31.29,28,24.36,20.06,15.67],
"SNRd_square": [12.01,11.98,11.99,11.91,11.89,12.12,12.16,12.27,12.77,11.47,8.007,3.074,-2.18],
"SNRd_rectangle": [12.01,11.98,11.98,11.95,11.94,12.08,12.08,12.2,12.46,11.98,10.5,8.153,5.667]

},
{

「投資報酬率」:[2],
"noise_power_spectrum": [0.003468,0.0009693,0.0005746,0.0004773,0.0004368,0.0003866,0.0003348,0.0002759,0.0002067,075.
"noise_equivalent_quanta": [19.9,72.8,153.7,221.5,242.4,217.2,161.5,104.6,64.98,43.74,36.32],
"SNRi_square": [40.71,37.97,35.44,32.97,30.72,29.25,27.2,25.68,23.53,19.28,14.49,8.887,3.331],
"SNRi_矩形": [47.58,44.41,41.53,38.73,36.28,34.77,32.8,31.45,29.63,26.18,22.42,18.04,13.54],
"SNRd_square": [9.553,9.552,9.528,9.504,9.501,9.651,9.914,10.1,10.18,8.332,4.651,-0.3857,-5.685],
"SNRd_rectangle": [9.553,9.547,9.538,9.521,9.523,9.614,9.748,9.894,9.992,9.23,7.584,5.199,2.496]

……
},
]
},