這項工作的基本前提是資訊容量是一種更優越的衡量標準。
用於預測成像系統的性能。
它比銳化或雜訊更好,因為它包含了銳化和雜訊, 而且它可以被使用。
推導出用於衡量目標和邊緣檢測性能的指標
以及用於設計最佳化系統性能的電子濾波器。
相關頁面 影像資訊指標:資訊容量及更多內容包含有關影像資訊指標的文件、白皮書、新聞等的關鍵連結。 在2024年電子成像會議上發表的論文《傾斜邊緣的影像資訊量測》對影像資訊量測進行了最佳闡述。以下列出的白皮書也從不同程度上介紹了這個內容。
《傾斜邊緣的資訊容量測量:方程式與演算法》 (舊文件)包含了本頁的大部分方程,但我們推薦EI 2024 論文作為參考。 傾斜邊緣法速度快、方便,最適合測量總資訊容量,因此建議用於大多數應用;但西門子星形法(2020)更適合觀察影像處理偽影(去馬賽克、資料壓縮等)的影響。 |
| 取得 Imatest 傾斜邊緣影像資訊指標的說明 (本頁目錄) |
結果:邊緣方差法及更早方法-N(x)、C4、Cmax 及相關結果:資訊相關:NEQ、SNRi 等顯示——一套全面的圖像資訊指標——圖表列表上圖和下圖: 雜訊功率譜 (NPS) - 雜訊等效量子 (NEQ) - SFR (MTF) |
快速入門-取得影像資訊指標
背景閱讀:電子成像 2024 會議論文《傾斜邊緣的圖像資訊測量》是首選。此外,《影像資訊度量:資訊容量及其他》等相關白皮書也很有幫助。 |
新測量方法簡介
本頁包含取得影像資訊指標的說明。這些測量利用了傾斜邊緣的新發現特性——Imatest最常用的用於測量 SFR(MTF)的模式。大多數影像科學家對這些指標並不熟悉,原因在於:(A) 它們大多局限於醫學影像領域,且傳統上難以測量;和/或 (B) 它們源自資訊理論,而資訊理論是電子通訊的基礎,但難以應用於影像領域。
新的指標源自於兩種截然不同但又互補的影像雜訊測量,這兩種測量都是透過傾斜邊緣進行的,並且都可以用來計算資訊容量。
- 邊緣方差法可以方便地測量空間相關的雜訊。
- 雜訊影像方法測量雜訊功率(維納)頻譜,並用它來計算幾個額外的影像資訊指標( NPS 、 NEQ 、 SNRI 、 Edge SNRi等)。
本頁介紹了新的指標,展示如何取得這些指標,然後展示了一些關鍵結果。
詳細的演算法在《傾斜邊緣的資訊容量測量:方程式和演算法》中給出。
計算結果匯總
為方便起見,此處提供計算概要。更多細節可參考「影像資訊量測:資訊容量及其他」 ,尤其是EI 2024論文「 傾斜邊緣的影像資訊量測」 。
A:邊緣變異數計算概要
將掃描線相加得到平均邊緣。
從傾斜邊緣的影像(原始 ROI ,見下文)開始,這些影像通常由 4:1 對比度圖表產生(儘管 2:1 到 10:1 之間的圖表對比度也是可以接受的),標準的傾斜邊緣演算法
- 找到每條掃描線的中心(沿著大致垂直於邊緣的水平或垂直方向測量),
- 然後,將中心擬合到多項式曲線,
- 根據多項式在掃描線上的位置,將掃描線的內容加入四個箱子中的一個。
- 然後將每個箱的平均值交錯排列,形成 4 倍過採樣邊緣μ s ( x ) ,其雜訊比單一掃描線低。

接下來,將每條掃描線的平方加到對應的箱中,以計算邊緣訊號的變異數σ s 2 ( x ) ,這相當於其雜訊功率N ( x ) 。
- 香農-哈特利資訊容量方程式為其中, S ( f )和N ( f )分別為訊號功率和雜訊功率, W = 0.5C/P為頻寬。 本方法假設雜訊功率譜( N ( f ))近似平坦。
- 假設訊號均勻分佈在V PP上,這樣可以獲得最大的資訊容量。平均訊號功率為。
- 對於經過最少或均勻處理的影像,平均雜訊功率用於N ( f ) 。
- 對於雙邊濾波影像(邊緣銳利化;其他部分平滑;常見於大多數相機拍攝的 JPEG 影像),平滑後的峰值雜訊功率用於N ( f ) 。
主要結果如下:
C4是直接從 4:1 對比傾斜邊緣測量的香農資訊容量。 C4 是C <sub>n</sub>的一個特例,對於n :1 的對比(強烈建議使用 ISO 標準 4:1), C<sub> n</sub>對圖表對比度和曝光敏感,因此可用於測量性能與曝光的關係,但C<sub> 4 </sub> 並非直接測量相機最大資訊容量。
C <sub>max</sub>是衡量相機最大資訊容量較為穩定的指標,它是由C<sub> 4 </sub>推導而來。此外,它對曝光不敏感,至少對於雜訊是訊號已知函數的線性感測器而言是如此。
B. 雜訊影像計算摘要 完整詳情請點擊此處
從低雜訊非分箱/反向投影 ROI 影像中減去雜訊影像,得到雜訊影像。
此方法涉及反轉 ISO 12233 的分箱過程。注意到 4 倍過採樣邊緣是透過交錯 4 個分箱的內容創建的,我們應用分箱演算法的逆過程,將每條掃描線的內容設定到其對應的分箱中(請參閱下文「逆分箱... ROI 」)。由於逆分箱後的影像幾乎沒有噪聲,因此可以透過從原始影像中減去逆分箱後的影像來產生雜訊影像。此影像使用帕塞瓦爾定理進行縮放,該定理指出雜訊功率譜的積分等於空間功率的積分。對於雜訊功率N ( f )和N ( x ) 。透過將平均值(零值)調整為中灰色來顯示雜訊影像,如下圖所示的雜訊影像。
| 測量 | 描述 |
| 雜訊功率譜 NPS ( f ) | 在邊緣方差法中, NPS ( f ) 被隱式地假設為常數(白噪聲)。雜訊幅度(電壓)頻譜。 |
| 噪音自相關性 | 雜訊電壓譜的逆傅立葉變換。與感測器電串擾相關。實驗研究。 |
| 雜訊等效量子 NEQ ( f )和NEQ資訊( f ) | 頻率相關訊號雜訊比 (SNR) 的測量。 NEQ (f) 已被用於量化醫學影像質量,但在一般影像領域卻鮮為人知。 NEQ( f )等價於光子散粒雜訊占主導地位時感測器偵測到的光子數。 當到達影像感測器的量子密度已知時,此方法適用於計算數位量子效率 (DQE)。 NEQ info ( f )由下列公式導出:使其非常適合計算資訊容量C NEQ 。 |
| 資訊能力 C 4-NEQ和C max-NEQ | 對應於邊緣方差法中的C4和Cmax ,但源自NEQ info ( f) 。它們很接近,但不完全相同。 |
| 理想觀察者信噪比 SNRi | Skorka 和 Kane [ 9 ] 指出,「理想觀察者是貝葉斯決策者,它最大化了具有兩個可能結果的假設檢定的統計精度。」SNRi 是物體(正方形或矩形)可檢測性的度量。 |
| Edge SNRI | 邊緣訊號雜訊比 (Edge SNRi) 是衡量邊緣可偵測性的指標(從物體的梯度獲得)。 |
模擬影像處理的效果
可以透過模擬銳利化和低通濾波的效果來預測它們對目標和邊緣偵測性能的影響。這可以用來回答許多重要問題,例如:
- 當調整濾波器設定(低通濾波器截止頻率、銳化量和銳化半徑)時,關鍵目標和邊緣偵測指標(訊號雜訊比增高值和邊緣訊號雜訊比增高值)會發生多大變化?這一點至關重要,因為實際應用中的系統需要處理各種各樣的目標和場景,因此成功的ISP設計需要權衡各種因素。
- 我們經常在客戶影像中看到過度銳利化(表現為邊緣附近的「光暈」和 MTF 反應中的強峰值),這會降低關鍵物件和邊緣偵測指標嗎?
有關如何套用影像處理的完整說明,請參閱「影像資訊指標的影像處理」 。
取得影像

在均勻、無眩光的環境下,拍攝任意斜邊測試圖( SFRplus 、 eSFR ISO 、棋盤格、 SFRreg或SFR )的曝光良好的影像。盡可能使測試圖邊緣對比達到 4:1(ISO 12233 標準)。對比度範圍為 2:1 至 10:1。影像擷取過程與標準 MTF 測量基本相同。
如果您不確定哪種斜邊圖表最適合您的需求,則主文檔頁面中有一個比較表。
在比較相機時,曝光一致性至關重要,因為曝光會影響資訊容量的測量。 (曝光對MTF測量的影響僅為次要的。)如果可能,完美曝光的傾斜邊緣區域的平均像素值應在0.20到0.26的範圍內,但只要影像沒有飽和,就有很大的操作空間。
另一方面,在低光源表現受到關注的情況下,測量C 4與曝光量的關係可能很有意義。
為獲得最佳效果,傾斜邊緣感興趣區域 (ROI) 沿邊緣的寬度應至少為 100 像素。像素過少會導致結果一致性較差。

取得影像的技巧
均勻性-圖表的照明應盡可能均勻。簡單的(一級)不均勻性可以校正。未平整安裝的圖表可能存在無法校正的不均勻性(彎曲),導致資訊容量嚴重下降。
JPEG偽影-低品質的JPEG影像會非常難看,並嚴重降低測量結果。右側的範例(放大4倍)展示了JPEG偽影和鋸齒狀邊緣。這張圖片在遠離邊緣的位置進行了明顯的降噪處理,而且用於傳輸影像的網站可能使用了低品質壓縮。如果為了方便電子郵件附件而必須將影像儲存為JPEG格式,請務必使用高品質的JPEG影像。
運行 MTF 計算模組
運行相應的斜邊模組,可以在以下兩種情況下運行:
- Rescharts (互動式;建議用於設定和測試)- SFRplus 設定、 eSFR ISO 設定、 SFRreg 設定、桌遊設定、 SFR或
- 適當的固定式、可批次處理的模組( SFRplus Auto 、 eSFR ISO Auto 、 Checkerboard Auto 、 SFRreg Auto或SFR )。
推薦設定
在計算影像資訊指標之前,建議進行一些設定。
資訊容量計算
在「設定」視窗中,從「資訊容量顯示」下拉式選單中選擇適當的設定。 這可能不太容易察覺。 計算資訊容量會略微降低操作速度。以下是兩個範例。此設定也位於SFR 設定和Rescharts SFR 設定視窗中。
完整的視窗和完整的說明在SFRplus 、 eSFR ISO 、 Checkerboard 、 SFRreg或SFR 。
噪音計算方法不同的原因是
- 經過均勻或極少處理的影像(通常是由電腦從原始影像轉換而來,如圖所示)具有相對均勻的噪聲,這種噪聲在一定程度上取決於訊號,其中光子散粒噪聲占主導地位。過渡區域附近沒有雜訊峰值。因此,ROI 中的平均邊緣雜訊最為合適。
- 雙邊濾波影像(包括大多數消費性相機拍攝的JPEG影像,如圖所示)在過渡區域附近進行了銳化,而在其他區域則進行了降噪(低通濾波)。因此,平均雜訊過低,無法代表系統性能。所以,(平滑後的)峰值雜訊才是最適合的指標。
- 峰值的存在與否可用於偵測雙邊濾波(對於設定 2:自動邊緣雜訊偵測),但這並不完全準確,因為模糊的影像可能幾乎沒有峰值。
如果選擇資訊容量計算(如下2-5所示),則會同時執行邊緣方差和雜訊影像計算。這些設定會影響邊緣/MTF顯示,而該顯示空間有限。當在下方圖表中選擇「結果總結」時,兩種方法的結果都會顯示在「雜訊頻譜、NEQ、SNRi」圖中。
| # | 環境 | 描述 | 最適合 |
| 1. | 沒有資訊容量計算 | 速度略快於計算資訊容量。它幾乎只適用於高速即時影像擷取。 | 速度最快,但優勢並不明顯,因為在重新載入時資訊上限計算會被關閉。 |
| 2. | 計算資訊容量:自動邊緣雜訊偵測 | 根據雜訊峰值的偵測結果(存在或不存在)選擇雜訊計算方法。 建議用於大多數圖像。如果影像處理已知且一致(經過最小/均勻處理或雙邊濾波),則選擇選項 3 或 4 即可。 | 對於未知影像處理:“黑盒子” |
| 3. | 使用平均邊緣雜訊的資訊上限(適用於均勻/最小處理的影像) | 對於由原始影像轉換而來,並經過最少或均勻處理(無雙邊濾波)的影像。 | 對於經過均勻/最少處理的影像 |
| 4. | 使用平滑峰值雜訊的資訊上限( 適用於雙邊濾波影像) | 對於雙邊濾波影像(包括大多數消費級相機拍攝的JPEG影像),此方法有效。它適用於均勻處理的影像,但結果不如方法(1)穩定。 | 對於雙邊濾波影像(大多數消費級相機JPEG影像) |
| 5. | 使用平均邊緣雜訊(不包括峰值區域)的資訊容量 | 先前添加此功能是為了解決灰塵顆粒導致均勻銳利化影像中出現虛假峰值的問題。現在基本上已修復。通常情況下,此功能與第 3 點相同。 |
分箱-在「更多設定」視窗的左下角,選擇 Imatest 邊緣運算方法之一,最好選擇Imatest 22.1(建議) 。截至撰寫本文時,該方法可產生最可靠的結果。
線性化方法-有多種方法可供選擇。如果已知圖表對比(資訊容量測量幾乎必須知道),請輸入圖表對比(建議為 4),然後選擇「根據圖表對比計算 Gamma 值」 。此設定的影響不大,但當需要測試具有不同影像處理技術的相機時,此選擇相當可靠。
其他設定-勾選「加速」 (避免不必要的運算)、 「MTF降噪(模式apod)」 (對雜訊結果進行輕微清理)。若有可見的照明不均勻性,請勾選「不均勻性MTF校正」 。
噪音設定(可能不會影響資訊指標)可以透過Rescharts 更多設定視窗中的按鈕進行設定。
設定完成後,按“確定”按鈕分析影像。可以選擇任意顯示方式,但只有少數幾種(如下所示)用於顯示資訊指標。運行固定模組也能獲得相同的結果。
利用訊號平均法平滑粗糙結果
有時,對於雜訊較大的影像,MTF 或 NEQ 等結果(或任何其他結果)可能會比較粗糙。這是因為傾斜邊緣的興趣區域 (ROI) 通常小於最佳值。解決此問題的可靠方法是訊號平均:擷取多個相同的影像,然後對它們進行平均以進行分析。將N 個平均訊號進行平均,可以將訊號雜訊比 (SNR) 提高 N 的平方根( N值每增加一倍,訊號雜訊比提高 3 dB)。
資訊容量/SNRi/NEQ的計算,雜訊功率乘以平均次數N<sub> avg</sub> 。這不會導致結果有系統性變化,只是使結果更一致。
以下是訊號平均帶來的改進範例。
訊號平均的優勢
訊號平均的說明
- 讀取一批N張影像(使用通常的多檔案選擇方法)。此時將顯示如下所示的設定視窗。如果檔案大小不一致,則會顯示警告。
- 選擇“合併文件進行訊號平均” 。 “儲存合併文件”複選框為可選複選框。
- 如果設定正確,請按“是” 。分析將繼續進行。
結果:邊緣方差法及舊方法
邊緣/MTF 圖
上圖(邊圖)中已新增了資訊容量(針對單一邊)。其他內容未作更改。
下圖是使用高品質卡片相機拍攝的原始格式 eSFR ISO 圖表影像。

同時顯示資訊容量C 4 (適用於 4:1 對比圖表;對曝光非常敏感)和C max (最大資訊容量;對曝光相對不敏感)。
邊緣和資訊容量噪聲
這是邊緣和MTF圖的一個變體。上面的圖與之類似(儘管線擴散函數——邊緣的導數——對於此圖來說尤其重要)。

eSFR ISO 影像由 RAW 格式影像轉換而來,僅經過少量處理。
實線是經過寬度為 5 像素(4 倍過採樣,原始像素數為 1.25)的矩形核平滑後的雜訊。請注意,噪音非常粗糙,邊緣過渡附近沒有明顯的峰值。從圖表的局部觀察可以看出,雜訊曲線上的凸起似乎是隨機的,並且不具有重複性。
現在有趣的部分來了。以上圖表所使用的影像源自原始影像,僅經過極少的處理(直線伽瑪曲線;未進行銳利化或降噪-當然也未進行雙邊濾波)。以下是同一採集過程的相機內JPEG影像的處理結果。請注意邊緣附近的大雜訊峰。我們使用方法(1)計算香農-哈特利方程式的噪聲,該方法對邊緣附近相當寬的區域進行平均。

eSFR ISO 影像以 JPEG 格式拍攝(經過強銳利化和雙邊濾波處理)
方法 (2):使用平滑邊緣雜訊的最大值來計算資訊容量的雜訊。此方法建議用於雙邊濾波的 JPEG 影像,因為它使用雜訊峰值附近相對較窄的區域來測量雜訊。資訊容量C4 = 3.11 b/p 僅略高於 TIFF 的 3.0 b/p。如果選擇方法 (1)(對大區域進行平均,未突出峰值),則C4 = 3.84 b/p:顯著大於原始測量值,顯然不準確。
3D繪圖和總資訊容量
C 4和C max已加入可用的 3D 圖中。

總資訊容量C <sub>total</sub> (以訊號電平為參考,本例為 4:1)的計算方法是將加權平均值(兩個資訊容量圖的所有權重皆設定為 1)乘以總像素數(以位元/像素為單位)。它顯示在平均資訊容量(以位元/像素為單位)旁邊。
在上圖中, C總計= 2.847 位元/像素 × 1600 萬像素 = 45.44 兆位元。顯示幕顯示邊緣資訊容量 C最大值 平均值:2.847;總 Mb:45.44 。
資訊相關:NEQ、SNRi 等顯示
影像資訊指標(NPS、NEQ、SNRi、邊緣 SNRi 等)以及幾個傳統指標(MTF、LSF 等)顯示在「資訊相關:NEQ、SNRi 等」顯示中。
這些結果是使用一台2400萬像素的微型4/3系統相機,搭配一支高品質的60mm定焦(微距)鏡頭,光圈設定為f/8,ISO設定為100拍攝的。所有色彩通道均已顯示。
資訊相關圖表的一個關鍵特點是它同時顯示兩個結果:一個在頂部,一個在底部,這使得比較和關聯不同的結果變得容易。在開發新指標的過程中,這項特點得到了廣泛應用。
Rescharts 顯示的線擴散函數 (LSF;上圖) 和
雜訊等效量子(NEQ;下圖)
兩個下拉式選單之間的「對數 x 軸」複選框(顯示在右側的紅色橢圓內)可讓您選擇頻率圖的線性或對數 x 軸。
在 Rescharts 圖表中紅色橢圓框內的上下圖表的「資訊相關...」下拉式功能表中,提供了大量結果選擇。 顯示區域, 位於右上角。 「 資訊相關…」 下拉式選單有點臃腫,包含的條目過多(需要滾動才能查看全部條目)。未來版本可能會對此進行改進。 | ![]() |
| 上、下地塊 | 符號來自EI2024 論文。 |
| 雜訊電壓頻譜 | NPS ( f )也稱為維納譜。它是計算核函數的重要中間結果。以及其他關鍵指標。 |
| 雜訊功率譜(NPS) | |
| 雜訊等效量子 (NEQ) | 頻率相關的信噪比功率,表示光子主導訊號入射到像素上的量子數。 |
| SFR(MTF) | 空間頻率響應(又稱調製傳遞函數)。衡量清晰度的關鍵指標。 |
| 邊緣線性化未歸一化 | μ S ( x )平均邊緣(ISO 分箱演算法的輸出) |
| 線擴散函數(LSF) | 邊的導數 |
| 邊緣雜訊幅度 | |
| 噪音自相關性 | IFFT( NEQ ( f ))與感測器串擾相關的實驗測量。 |
| SNRi 方形 wxw | 正方形物體的理想觀察者訊號雜訊比(邊長為w × w像素)。 |
| SNRi矩形 wx 4w | 矩形物體的理想觀察者訊號雜訊比(邊長為w × 4 w像素)。 |
| 每像素SNRi平方² | 每個像素的信噪比為2,適用於w × w 的正方形區域。趨於穩定;不會無限增加。 |
| 每像素SNRi矩形² | 每個像素的訊號雜訊比為2,適用於w × 4 w 的矩形區域。數值趨於穩定,不會無限增長。 |
| LSF 雙峰位移 | 線擴散函數雙峰位移與間距的關係 |
| LSF 雙峰振幅 | 線擴散函數振幅隨間距的變化 |
| LSF雙峰訊號雜訊比能量 | 線擴散函數能量隨間距的變化 |
| Edge SNRi 方形 wxw | 邊 SNRi 適用於w × w正方形。 |
| Edge SNRi 矩形 wx 4w | 邊 SNRi 適用於w × 4 w矩形。 |
| Edge SNRi 1D 雙透鏡 | 邊緣訊號雜訊比 (SNRi) 用於長1D 物體。 |
| 物件匹配過濾器 | F匹配對象( f )優化 SNRI 的匹配濾波器的響應 |
| 邊緣匹配濾波器 | F <sub>matched-edge</sub> ( f ) = f × F <sub>matched-object</sub> ( f )匹配濾波器的響應,用於優化邊緣訊號雜訊比增強 |
資訊相關:NEQ、SNRi 等顯示摘要。較不重要或實驗性結果以灰色背景顯示。
雜訊功率譜或電壓譜 (NPS)雜訊功率(維納)圖和電壓譜圖形狀相同,僅 y 軸標籤不同。 NPS是一種中間計算方法,用於計算許多影像資訊指標。 一維雜訊功率譜或電壓譜是透過對雜訊影像進行二維傅立葉變換 (FFT) 得到的。初始二維 FFT 在影像中心處頻率為零。影像被分割成若干環形區域,並計算每個區域的平均雜訊功率。 | |
雜訊等效量子 (NEQ)圖中所使用的標準NEQ是基於平均訊號電壓V <sub>mean</sub> ,如上所示。而基於NEQ的資訊容量C<sub> NEQ </sub>則使用不同的電壓V<sub> PP</sub> /sqrt(12)來計算。 由於傾斜邊緣 ROI(感興趣區域)的尺寸相對較小,因此 NEQ 圖比較粗糙。 | |
空間頻率響應(SFR/MTF)請注意,y 軸是對數座標。 x 軸可以是線性座標(如圖)或對數座標。由於 y 軸是對數座標,因此該圖與標準Edge/MTF 圖中的 MTF 圖略有不同。 | |
邊緣線性化未歸一化,V(x)此外,在標準邊緣/MTF圖中也可見。可用於觀察銳化造成的過衝現象。 用於計算香農-哈特利方程式在邊緣方差計算中的訊號功率S。 | ![]() |
線擴散函數,LSF(x) = dV(x)/dx此外,如上所示的邊緣和資訊容量雜訊圖中也存在這種情況。 MTF ( f ) = |FFT( LSF ( x ))|,在零頻率處歸一化為 1。 雙邊濾波影像在邊緣附近存在雜訊峰值,而LSF在該邊緣處達到最大值。 | |
邊緣雜訊幅度使用 1.25 像素平滑核進行平滑處理。此外,在上方所示的邊緣和資訊容量雜訊圖中,也展示了來自同一影像擷取的最小處理影像和雙邊濾波影像。 此圖中的峰值表示雙邊濾波影像(消費級相機拍攝的 JPEG 影像中常見)。 EI 2024 論文,噪音功率部分, N | ![]() |
理想觀察者對正方形或矩形的訊號雜訊比 (SNRi)。SNRi是衡量小物可偵測性的指標。它可以用於邊長為w 的正方形和尺寸為w × 4w 的矩形,其中w為較短邊的長度(以像素為單位)。 Paul Kane [ 8 ] 和 Orit Skorka 和 Paul Kane [ 9 ] 的論文詳細討論了SNRi 。 SNRi 顯示器的一個問題是,隨著邊長w 的增加,它會變得非常大。這使得圖像難以解讀。 視覺上。 EI 2024 論文中的方程式/演算法,方程式(17-20),圖 20 | |
每像素 SNRi [正方形或矩形] 2雖然影像沒有完全平坦,但比普通的SNRi更容易進行視覺解讀。 | |
Edge SNRI與 SNRi 類似,但它是基於邊緣而非物體整體屬性的。圖中展示了w × w正方形、 w × 4 w矩形或一維雙體物體的情況。它不會隨著物體尺寸的增加而無限增大。 | |
物件匹配篩選器圖中展示了對於寬度分別為 5、2 和 1 像素的目標,具有最佳邊緣訊號雜訊比 (ESRN) 的濾波器的傳遞函數(頻率響應)。此傳遞函數等於目標的傳遞函數乘以頻率。可用實際濾波器近似表示。我們需要確定設計濾波器的最佳實踐,以權衡目標性能和邊緣性能。 | |
邊緣匹配濾波器圖中展示了邊緣寬度分別為 5、2 和 1 像素時,具有最佳邊緣訊號雜訊比 (Edge SNRI) 的濾波器的傳遞函數(頻率響應)。此濾波器可以用實際濾波器進行近似。我們需要確定設計濾波器的最佳實踐,以權衡物件性能和邊緣性能。 | ![]() |
以像素為單位顯示雙峰位移與像素間距的關係,以對數顯示。這不是一項重要發現。 | ![]() |
振幅隨像素間距的增加而加倍,以對數形式顯示。這不是一項重大發現。 | ![]() |
以像素間距為橫座標,以對數形式顯示雙倍能量(∫振幅2 )。與一維雙峰的邊緣訊號雜訊比增強(Edge SNRI)結果相當。並非重大發現。 | |
雜訊自相關(與感測器電串擾相關)實驗此圖主要用於研發而非常規測試,旨在驗證以下假設:當去除去馬賽克和固定模式雜訊的影響,且主要雜訊源為光子散粒雜訊時,雜訊功率譜(以及自相關性)能夠指示影像感測器的電串擾量。這個假設的基本想法是,入射到感測器上的光完全不相關,因此如果沒有串擾,雜訊將呈現白雜訊特性。 右側的圖片已進行白平衡調整。 噪聲自相關曲線是噪聲頻譜的傅立葉逆變換,這是基於作者對維納-辛欽定理的有限理解而得出的。 | |
右側影像未經白平衡處理。正如我們預期的那樣,紅色通道的自相關距離比其他通道更大。點擊圖片放大查看。 | ![]() |
僅顯示下方圖表,位於 Rescharts 視窗的左下角
影像 ROI 裁切圖(原始影像、未分箱影像、雜訊影像)我們在這裡展示了雜訊影像(ISO 12800)的 ROI 局部放大圖,其中原始影像和未合併影像之間的差異很容易看出。 所有圖像均經過伽馬編碼以便顯示。右側的雜訊影像已被提亮(其實際平均值為零)並增強了對比度。 去噪處理在去除雜訊方面的效果顯著。它是雜訊影像計算(NEQ、SNRi 等)的基礎。 | |
結果總結包含圖像屬性摘要。 底部幾行包含程式開發中用於檢查計算準確性的幾個變數。這些變數可以更新。 主要結果是資訊能力處於前50%。 C 4 (EdgeVar)和C max (EdgeVar)是從邊緣變異數方法推導出來的。 C4 (NEQ)和Cmax (NEQ)源自於雜訊鏡像法(之所以稱為 NEQ,是因為它們直接由 NEQ 計算得出)。它們並不完全相同,因為雜訊鏡像法使用測量的雜訊功率譜,而邊緣方差法則假設雜訊功率為白雜訊。 | ![]() |
物件可見性LARGE選項同時覆蓋上、下兩個繪圖區域,以提高可視性。 SNRi測量的目標是預測小型、低對比正方形或4:1矩形中的物體可見度。 SNRi預測結果需要視覺驗證。 我們為 Imatest 開發了一種顯示方式,它利用真實的傾斜邊緣圖像的內容和一些技巧來實現這一點。這種顯示方式與大多數其他Imatest顯示方式不同,因為它旨在進行感知判斷,基於原始圖像(很難對傾斜邊緣進行感知判斷)和計算出的線擴散函數(轉換為 2D)。 右側的結果來自一台ISO 12800的微型4/3系統相機拍攝的雜訊影像。正方形的邊長分別為w = 1、2、3、4、7、10、14和20像素。原始測試圖的對比為4:1(亮部/暗部=4),相當於邁克爾遜對比C <sub>Mich</sub> (亮部-暗部)為0.6。外側正方形的C <sub>Mich</sub> = 0.6,而中間和內側正方形的C <sub>Mich </sub>分別為0.3和0.15。 如何使用這些影像——邊緣附近不顯眼的洋紅色條紋旨在幫助您找到可能難以辨認的小方塊。訊號雜訊比(SNRi)曲線(至少在初始階段)用於圖表對比-強烈建議使用 4:1(ISO 12233 標準)。外側色塊對應於訊號雜訊比(SNRi)曲線,根據羅斯理論,訊號雜訊比為 5(14 dB)應對應於可見性閾值。這些色塊可以與訊號雜訊比(SNRi)曲線進行比較。 | ![]() |
資訊容量與暴露程度(或暴露指數)的關係
可以透過在固定模組( SFR 、 SFRplus 、 eSFR ISO 、 Checkerboard或SFRreg )中運行一批影像,然後將結果(來自 ...-sfrbatch.csv 檔案)輸入 Batchview 來研究曝光對資訊容量C 4的影響。獲得理想結果需要幾個步驟。雖然可以快速完成,但仔細閱讀說明非常重要。
這項技術最適用於需要在低光源環境下良好工作的車載攝影機。這裡使用曝光指數 (EI) 來代替總曝光量。提高曝光指數會減少到達感測器的總光量,也就是說,曝光指數與總曝光量成反比。 (這對初學者來說可能比較難懂。)
我們將使用一組來自2400萬像素微型4/3系統相機的圖像,這些圖像在不同的曝光指數(EI;ISO感光度)下拍攝,以RAW格式(ARW)採集,然後使用LibRaw將其轉換為TIFF格式,並進行最少的處理:不進行銳化或降噪,僅應用簡單的伽瑪曲線,但進行白平衡和色彩校正。應盡可能避免使用JPEG文件,因為其雙邊濾波會降低計算精度。然而,對於車載相機而言,這可能難以避免,幸運的是,邊緣方差技術在C4解析度下也能提供良好的結果——精度僅略低於使用轉換後的RAW影像。
自動ROI偵測模組( SFRplus 、 eSFR ISO 、 Checkerboard或SFRreg )的第一步是使用互動式( Rescharts )程式執行映像,以確保設定正確。雖然SFR並非必須執行此步驟,但預覽結果仍然很有用。
概括
- 香農資訊容量C長期以來一直被用來作為衡量電子通訊頻道品質的指標。它規定了在採用適當編碼的情況下,資料傳輸無誤的最大速率(人們花了近半個世紀才找到接近香農容量的編碼)。對於成像而言,編碼並非問題所在。 Rodney Shaw 於 1962 年發表的論文[ 10 ] 就是一個很好的例子,它測量了照相膠片的C 值——在當時,這並非易事。
- C通常以每像素位元數來衡量。總容量為。
- 由於C是 MTF 的函數,因此在計算C之前必須對通道進行線性化,即必須應用適當的伽馬校正(訊號=像素級伽馬值,對於標準色彩空間(例如 sRGB 或 Adobe RGB)中的圖像,伽馬值約為 2.2)才能獲得正確的S和N值。伽瑪值(接近 2)可以透過執行任何分析灰階梯圖的Imatest模組來確定,例如Stepchart 、 Colorcheck 、 Color/Tone 、 Multitest 、 SFRplus或 eSFR ISO。但在大多數情況下,如果輸入圖表對比度並選取「用於 MTF」 ,則可以從邊緣影像中確定伽馬值。
- 我們假設C值可以作為評估相機品質的指標,尤其適用於機器視覺和人工智慧相機。 (它不能直接應用於消費級相機,因為消費級相機需要精心調校才能發揮其潛力,即拍攝出令人滿意的圖像。)它為比較相機提供了一個公平的基準,尤其是在使用經過最少處理的RAW格式圖像時。
- Imatest計算數位影像Y(亮度)通道的香農容量C ,該容量近似於人眼的敏感度。它也計算各個 R、G 和 B 通道以及色度通道C <sub>b </sub>和C <sub>r </sub> 的C 值(由 YC<sub> b </sub>C<sub> r </sub> 得出)。
- 香農容量在成像領域並不常見,因為它難以計算和解釋。但現在它可以輕鬆計算,其與影像品質的關係也值得研究。
- 由於C是一個新的度量標準,我們有興趣與能夠驗證其是否適用於機器視覺和人工智慧系統的公司或學術機構合作。
|
注意:在 Imatest 2020 之前使用的傾斜邊緣資訊容量測量方法(主要用於從西門子星形測量中獲得總資訊容量)已被完全棄用,因為它不夠準確。 |
連結( 白皮書中還有更多連結)
- CE Shannon,“ 通訊的數學理論”,貝爾系統技術雜誌,第27卷,第379-423頁,1948年7月;第27卷,第379-423頁。
623–656,1948 年 10 月。 - CE Shannon,“ 噪音環境下的通訊”,IRE 會議論文集,1949 年 1 月,第 10-21 頁。
- 維基百科-香農-哈特利定理是香農方程式的頻率相關積分形式,可應用於 Imatest 的正弦模式和傾斜邊緣香農資訊容量計算。
- IA Cunningham 和 R. Shaw, “醫學影像系統的信噪比最佳化”,第 16 卷,第 3 期/1999 年 3 月/第 621-632 頁/美國光學學會雜誌 A 輯
- Brian W. Keelan,“噪聲等效量子成像應用”,載於IS&T 國際電子成像研討會論文集:圖像品質和系統性能 XIII ,2016 年, https://doi.org/10.2352/ISSN.2470-1173.2016.13.IQSP-213 。
- Michail C、Karpetas G、Kalyvas N、Valais I、Kandarakis I、Agavanakis K、Panayiotakis G、Fountos G.,正子斷層掃描掃描儀的資訊容量。晶體。 2018;8(12):459。 https ://doi.org/10.3390/cryst8120459 。
- Christos M. Michail、Nektarios E. Kalyvas、Ioannis G. Valais、Ioannis P. Fudos、George P. Fountos、Nikos Dimitropoulos、Grigorios Koulouras、Dionisis Kandris、Maria Samarakou、Ioannis S. Kandarakis,「數位乳房和乳房影像」的尺寸,卷線攝影圖 卷線,圖 卷線攝影圖,卷線攝影圖 卷線。 2014 年,文章 ID 634856,11 頁,2014 年。 https://doi.org/10.1155/2014/634856 。
- Paul J. Kane,“信號檢測理論和汽車成像”, IS&T 國際電子成像研討會:自主車輛和機器會議論文集,2019 年,第 27-1 - 27-8 頁, https://doi.org/10.2352/ISSN.2470-1173.2019.15.AVM-027 。
- Orit Skorka、Paul J. Kane,“使用理想觀察者模型進行目標檢測”, IS&T 國際電子成像研討會:自主車輛和機器,2020 年,第 41-1 - 41-7 頁, https://doi.org/10.2352/ISSN.2470-1173.2020.10.2352/ISSN.2470-1173.2020.16.A 。
- R. Shaw,「 傅立葉技術與資訊理論在攝影影像品質評估的應用」 ,《攝影科學與工程》,第6卷,第5期,1962年9-10月,第281-286頁。轉載自Rodney Shaw編輯的《影像評估精選讀本》,SPSE(現為SPIE),1976年。文中對膠卷資訊容量的計算進行了深入而複雜的分析。 可供下載。
- X. Tang、Y. Yang、S. Tang,《差分相位對比CT與常規CT成像性能的表徵:噪聲等效量子NEQ(k)譜》 , Med Phys. 2012年7月;39(7): 4467–4482。2012年6月29日在線發表。 doi : 10.1118/1.4730287 。
附錄1. 資訊能力簡述

挑戰總是令人興奮的!電子通訊頻道就有一個這樣的指標──它量化了頻道在無誤差情況下能夠傳遞的最大資訊量。此指標包含了清晰度和雜訊(膠片上的顆粒感)。而相機——或任何數位成像系統——就是這樣一個頻道。
此指標最早由貝爾實驗室的克勞德·香農於1948年發表[ 1,2 ],現已成為電子通訊產業的基礎。它被稱為香農頻道容量或香農資訊容量C ,其公式看似簡單[3]。 (更多詳情請參閱維基百科關於香農-哈特利定理的頁面。)
W 是頻道頻寬, S ( f ) 是平均訊號能量(訊號的平方)。 電壓;與MTF ( f ) ²成正比,而N ( f )是平均雜訊能量(均方根雜訊電壓的平方),對應於膠片顆粒。它看起來很簡單(只比E = mc²略微複雜一些),但應用起來並不容易。
克勞德·香農是一位真正的天才。 《與克勞德·香農共度一萬小時:天才如何思考、工作與生活》這篇文章非常值得一讀。 《紐約客》和《科學美國人》上也刊登過一些關於他的精彩文章。 IEEE也有一篇文章,將香農與機器學習和人工智慧的發展連結起來。我特別對時長29分鐘的影片《克勞德·香農-資訊時代之父》感興趣,這部影片由加州大學聖地牙哥分校記憶與記錄研究中心製作,我以前工作時常去那裡。
本頁介紹如何從傾斜邊緣影像(Imatest 最常用的測試影像)中計算資訊容量C ,以及如何從同一位置計算訊號和噪聲,從而獲得更優的影像品質測量結果。先前(2020 年)的西門子星形方法已在「基於西門子星形的香農資訊容量」一文中進行了描述。
計算背後的數學和演算法在 《傾斜邊緣的資訊容量測量:方程式和演算法》中進行了介紹。
附錄 2. 線性感測器最大資訊容量 C <sub>max </sub> 的計算步驟1:將測得的峰峰值電壓範圍Vpp替換為最大允許值,即Vp -p_max = 1。這看似簡化,但對大多數相機都適用。請參閱訊號功率S部分, 步驟 2:以N_mean取代測得的雜訊功率N ,即N在0 ≤ V ≤ 1範圍內的平均值(其中 1 為最大允許歸一化訊號電壓V )。線性影像感測器的雜訊功率N與V的函數關係的一般方程式為: k₀是恆定雜訊係數(暗電流雜訊、約翰遜(電子)雜訊等)。 k₁ 是光子散粒雜訊係數。它們由雜訊功率N₁ = σ₁²和N₂ = σ₂²計算得出,這些雜訊功率與邊緣躍遷兩側的訊號電壓V₁和V₂一起測量。 假設N 1 = k 0 + k 1 V 1和N 2 = k 0 + k 1 V 1 ,我們可以解出兩個關於k 0和k 1的未知數的方程式。 N與雜訊計算方法 (1) 中使用的雜訊非常接近(此方法適用於未經雙邊濾波的最小處理影像)。但如果使用方法 (2)(平滑峰值雜訊)(建議用於經過雙邊濾波的相機內 JPEG 影像),則N通常較大,必須進行調整。 N → k N N ,其中k N = N方法_2 / N方法_1 在雙邊濾波影像(大多數消費級相機拍攝的JPEG影像)中,低通濾波(用於降噪)可能會對N1和N2產生足夠大的影響,以至於方程式不再可靠地成立。這會對Cmax的準確性產生不利影響。 計算Cmax時, 0 ≤ V ≤ 1範圍內的平均雜訊功率Nmean為 為了處理邊緣暗側雜訊較大(奇怪的影像處理)這種罕見但並非未知的情況,可以使用N mean = max( N mean , N 1 ,N 2 ) 。 使用 , 由於高動態範圍 (HDR) 感測器中的雜訊不遵循線性感測器的簡單方程,我們建議給予影像足夠的曝光,使邊緣較亮的一側接近(但肯定低於)飽和度,然後保持N不變( N平均值= N )。 對於使用線性感測器的最小或均勻處理的影像, C max幾乎與曝光無關,其中雜訊功率N是訊號電壓V的已知函數。 |
附錄 3:JSON 輸出
透過儲存 JSON 摘要文件取得(在 Rescharts 中按「儲存資料」)。
筆記
"edge_info_note1": "資訊容量結果。對於彩色影像,通道為 RGBY;對於拜耳陣列,通道為 R GR B GB",
"edge_info_note2": "V_P_P 及後續結果包含每行一種顏色的 nroi 結果",
以下結果包含 4 行 RGBY 通道;6 列 6 個 ROI。
訊號V PP
"edge_info_signal_V_P_P": [
[0.2271,0.2283,0.2199,0.2125,0.1971,0.1887],
[0.2292,0.2302,0.2209,0.2157,0.1994,0.1889],
[0.2358,0.2354,0.2239,0.1998,0.2075,0.1886],
[0.2292,0.2301,0.2209,0.2138,0.1995,0.1889]
],
平均空間相關噪聲
"edge_info_noise_V_RMS": [
[0.0062,0.0061,0.0056,0.0057,0.0059,0.0064],
[0.006,0.006,0.0054,0.0059,0.0058,0.0065],
[0.0061,0.0063,0.0062,0.007,0.0062,0.0076],
[0.0058,0.006,0.0052,0.0058,0.0058,0.0064]
],
峰值平滑噪音
"peak_smoothed_noise": [
[0.0149,0.0179,0.0137,0.0151,0.0172,0.0128],
[0.015,0.0177,0.0132,0.0151,0.0172,0.0131],
[0.0156,0.0185,0.0146,0.016,0.0181,0.0134],
[0.0151,0.0178,0.0132,0.0151,0.0172,0.0129]
],
峰值平滑雜訊/平均雜訊比:用於偵測高於閾值(1.8*max(左側平均值,右側平均值)的雙邊濾波)。
"pk_smoothed_to_mean_noise_ratio": [
[2.413,2.922,2.449,2.637,2.933,2.02],
[2.508,2.946,2.455,2.554,2.985,2.018],
[2.573,2.953,2.343,2.296,2.917,1.76],
[2.576,2.972,2.525,2.607,2.996,2.009]
],
偵測到的位置(以像素為單位)的標準差( σ (位置))
"sigma_location_pxls": [
[0.068,0.085,0.126,0.129,0.124,0.112],
[0.068,0.083,0.12,0.128,0.123,0.113],
[0.069,0.084,0.129,0.144,0.123,0.114],
[0.068,0.083,0.12,0.128,0.123,0.112]
],
訊號/雜訊均方根值(我們不確定此項測量的目的;可能不會保留。)
"edge_info_snr_RMS": [
[12.9707,13.1877,13.8628,13.1201,11.8556,10.5008],
[13.5087,13.509,14.5215,12.8755,12.2126,10.3129],
[13.7273,13.286,12.6874,10.1264,11.821,8.7738],
[13.8613,13.6161,14.9063,13.0611,12.2589,10.3593]
],
邊緣變異數資訊容量 C_4
"edge_info_capacity_C_4_b_p": [
[2.031,1.651,1.231,1.167,1.148,2.201],
[2.032,1.671,1.27,1.175,1.16,2.179],
[2.023,1.654,1.198,1.076,1.144,1.983],
[2.031,1.67,1.269,1.172,1.16,2.185]
],
邊緣變異數資訊容量 C_max
"edge_info_capacity_C_max_b_p": [
[4.032,3.471,2.737,3.166,2.926,4.023],
[4.005,3.501,2.86,3.023,3.084,3.976],
[4.032,3.495,2.62,2.924,2.916,3.724],
[4.044,3.513,2.876,3.112,3.038,3.982]
],
來自雜訊影像 (NEQ) 資訊容量的 C_4... 取代了 edge_info_capacity...
"info_capacity_C_4_NEQ_b_p": [
[2.128,1.567,1.056,0.8549,1.097,2.254],
[1.973,1.544,0.9904,0.9072,1.073,2.279],
[1.883,1.614,1.058,1.075,1.036,2.382],
[1.875,1.526,0.9486,0.8741,1.046,2.262]
],
來自雜訊影像資訊容量的 C_max... 取代了邊緣資訊容量...
"info_capacity_C_max_NEQ_b_p": [
[4.128,3.387,2.562,2.854,2.874,4.076],
[3.947,3.374,2.58,2.756,2.997,4.075],
[3.891,3.455,2.48,2.923,2.808,4.122],
[3.888,3.368,2.556,2.814,2.925,4.059]
],
平均影像數量([1] 表示不進行訊號平均)
"signal_averages_for_info": [1],
總最大資訊容量(以兆位元組為單位,包含所有感興趣區域)。以三維圖形式展示 C_max。
"edgeInfoCapacityMax_total_Mb": [23.39],
各區域的分區指示器,顯示所選頻道。
"edge_info": {
“通道”: “Y”,
下面顯示的是 NPS 和 NEQ 的頻率(週期/像素)。範圍為 0 和 0.05 到 0.5,步長為 0.05。
"NPS_NEQ_frequency": [0,0.05,0.1,0.15,0.2,0.25,0.3,0.35,0.4,0.45,0.5],
SNRi 和 Edge SNRi 的寬度(以像素為單位)(4:1 矩形的較短邊)
"SNRi_box_width": [20,14,10,7,5,4,3,2.5,2,1.4,1,0.7,0.5],
各個區域的結果以「ROI」表示,圖中僅顯示了其中 2 個區域的結果。
ROI 指示該區域。
雜訊功率譜(NPS)
雜訊等效量子 (NEQ)
SNRI_square。所有框寬從 20 到 0.5 的 SNRi。
SNRi_rectangle
edge_SNRi_square。取代 SNRd_square——24.2 試點計畫之前已過時的名稱。
edge_SNRi_rectangle 取代了 SNRd_rectangle—一個過時的命名方式
“ROI_results”:[
{
「投資報酬率」:[1],
"noise_power_spectrum": [0.002352,0.000627,0.0005093,0.0003993,0.0003269,0.0003086,0.0002547,0.0001938,0.0001532,06.
"noise_equivalent_quanta": [28.98,110.9,170.2,279.3,357.6,317.5,274.2,215.5,147.9,111.9,106.6],
"SNRi_square": [42.16,39.41,37.03,34.55,32.22,30.79,28.8,27.34,25.33,21.34,16.72,11.21,5.705],
"SNRi_矩形": [49,45.79,43.04,40.28,37.78,36.27,34.35,33.03,31.29,28,24.36,20.06,15.67],
"SNRd_square": [12.01,11.98,11.99,11.91,11.89,12.12,12.16,12.27,12.77,11.47,8.007,3.074,-2.18],
"SNRd_rectangle": [12.01,11.98,11.98,11.95,11.94,12.08,12.08,12.2,12.46,11.98,10.5,8.153,5.667]
},
{
「投資報酬率」:[2],
"noise_power_spectrum": [0.003468,0.0009693,0.0005746,0.0004773,0.0004368,0.0003866,0.0003348,0.0002759,0.0002067,075.
"noise_equivalent_quanta": [19.9,72.8,153.7,221.5,242.4,217.2,161.5,104.6,64.98,43.74,36.32],
"SNRi_square": [40.71,37.97,35.44,32.97,30.72,29.25,27.2,25.68,23.53,19.28,14.49,8.887,3.331],
"SNRi_矩形": [47.58,44.41,41.53,38.73,36.28,34.77,32.8,31.45,29.63,26.18,22.42,18.04,13.54],
"SNRd_square": [9.553,9.552,9.528,9.504,9.501,9.651,9.914,10.1,10.18,8.332,4.651,-0.3857,-5.685],
"SNRd_rectangle": [9.553,9.547,9.538,9.521,9.523,9.614,9.748,9.894,9.992,9.23,7.584,5.199,2.496]
……
},
]
},





























