|
新聞：Imatest 23.1包含一種新的傾斜邊緣圖案資訊容量計算方法，該方法已在白皮書《 使用 Imatest 測量相機資訊容量》中開發和介紹。傾斜邊緣法比西門子星形法更快更有效率，但在測量去馬賽克、影像壓縮和飽和度造成的偽影方面效果不佳。 Imatest 2020.1（2020 年 3 月） 香農資訊容量現在根據西門子星的圖像進行計算。 西門子星形法在2020年電子成像大會上提出，並發表在題為「 利用西門子星形圖像測量相機香農資訊容量」的論文中，該論文可在電子成像大會網站上找到連結。下文所述的白皮書更容易閱讀。 （另請參閱Imatest新聞報導： 利用西門子星形影像測量相機香農資訊容量。） |
2020 年修訂版白皮書《 西門子星形相機資訊容量》簡要介紹了資訊理論，描述了西門子星形相機資訊容量的測量，然後展示了結果（包括偽影的影響）。 第二份白皮書（2023 年）《 使用 Imatest 測量資訊容量》描述了一種利用廣泛使用的傾斜邊緣測量資訊容量的方法。 |
挑戰總是令人興奮的！電子通訊頻道就有一個這樣的指標──它量化了頻道在無誤傳輸的情況下所能傳輸的最大資訊量。此指標包含了清晰度（頻寬）和雜訊（膠片顆粒）。而相機——或任何數位成像系統——就是這樣一個頻道。
該指標最早由貝爾實驗室的克勞德·香農於1948年提出，現已成為電子通訊產業的基礎。它被稱為香農頻道容量或香農資訊傳輸容量C ，其公式看似簡單，實則不然。 （更多詳情請參閱維基百科上關於香農-哈特利定理的頁面。）
W 通道頻寬與影像清晰度相關。 S 是訊號能量（訊號的平方）。 其中，電壓（與影像中的MTF²成正比）和N是雜訊能量（均方根雜訊電壓的平方），對應於膠片中的顆粒。這看起來很簡單（只比E = mc²略微複雜一些），但應用起來並不容易。
克勞德·香農是一位真正的天才。 《 與克勞德·香農共度一萬小時：天才如何思考、工作與生活》這篇文章非常值得一讀。 《紐約客》和《科學美國人》上也刊登過一些關於他的文章。我特別對時長29分鐘的影片《克勞德·香農－資訊時代之父》感興趣，這部影片由加州大學聖地牙哥分校記憶與記錄研究中心製作，我以前工作時常去那裡。
| 我們將介紹如何從西門子星影像中計算資訊容量，從而能夠從同一位置計算訊號和雜訊。該方法對去馬賽克、裁剪和資料壓縮造成的偽影也很敏感，因此能夠更精確地測量影像品質——優於成像行業迄今為止使用的任何方法。 技術細節在綠色（“技術專區”）框中。 |
香農資訊容量的意義
（關於攝影機資訊容量的白皮書對資訊給出了簡潔的定義。）
在電子通訊頻道中，資訊容量是指頻道在無誤傳輸的情況下能夠傳輸的最大資訊量，即衡量通道「品質」的指標。實際的資訊量取決於編碼－即資訊的表示方式。雖然編碼是資料壓縮（影像在檔案中的儲存方式）不可或缺的一部分，但它與數位相機無關。重要的是以下假設：
我強調，這只是一個假設──用數學術語來說，就是一個猜想。它與我的經驗和大量測量結果相符，但（截至2020年2月）在被業界接受之前，還需要進行更多測試（使用各種影像）。現在，資訊容量可以透過Imatest方便地計算，我們有機會更深入地了解它。
正如我們所提到的，資訊容量是頻寬W和信噪比S/N的函數。
在介紹香農容量的文獻中，頻寬W通常被假定為半功率頻率，它與 MTF50 密切相關。嚴格來說， W log 2 (1+ S / N )僅適用於白噪音（具有平坦頻譜）和簡單的低通濾波器 (LPF)。但數位相機具有不同程度的銳利化，而強烈的銳利化會導致響應曲線出現較大的峰值，從而與簡單的 LPF 響應產生顯著偏差。因此，我們使用香農-哈特利方程式的積分形式： 如同論文《利用西門子星像測量相機香農資訊容量》所述，我們必須修改方程式以考慮像素的二維特性，方法是將其轉換為二重積分，然後轉換為極座標形式，最後轉換回一維形式。相關方程式如下所示（綠色方框）。 |
西門子星形方法的優點在於，訊號功率S ( f )和雜訊功率N ( f )是從同一位置計算的（具有一定角度範圍和較窄半徑範圍的分割，其中S和N受到相同的影像處理）。
測量資訊容量的關鍵挑戰之一在於如何定義平均訊號功率S。理想情況下，該定義應基於廣泛使用的測試圖表。為方便起見，此圖表應具有比例不變性（因此無需精確測量圖表放大倍率）。如前所述，訊號和雜訊應在同一位置進行測量。
為了確保不同觀察者獲得相同的結果，星圖的設計和對比應標準化。為此，我們建議使用類似於 ISO 12233:2014/2017 附錄 E 中規定的正弦西門子星圖。對比度應盡可能接近 50:1（標準中規定的最小值；接近使用霧面介質所能達到的最大值）。過高的對比度會使星像難以線性化。較低的對比度是可以接受的，但應在結果中註明。對於高解析度系統，星圖應包含 144 個週期，而對於低解析度系統，72 個週期就足夠了。用於將影像置中以便分析的中心標記（象限圖案）的直徑應為星體直徑的 1/20。
取得和構圖
在均勻、無眩光的光線下拍攝西門子星的曝光良好的影像。測試多台相機時，曝光應基本一致。星體內部線性化影像的平均像素值應在 0.16 到 0.36 之間。 （最佳值尚未確定。）
為最大程度地減少光學畸變（如有）造成的測量誤差，星形中心應靠近影像中心。為確保自動居中功能正常運作，影像方向應使中心區域的邊緣接近垂直和水平。
影像中星形圖案的大小應設定成：對應於最小半徑r<sub> min </sub> 的最大空間頻率大於奈奎斯特頻率f <sub>Nyq</sub> ，並且盡可能不大於 1.3 f <sub>Nyq</sub> ，以便有足夠的低頻可用於通道容量計算。這意味著，一個 144 週期、內標記半徑為 1/20 的星形圖案的直徑應為 1400-1750 像素，而一個 72 週期的星形圖案的直徑應為 700-875 像素。對於高品質噴墨印表機，星形圖案的物理直徑應至少為 9 英寸（最好為 12 英寸，即 23 至 30 厘米）。
星圖周圍可能還有其他景物，但平均背景應接近中性灰（反射率 18%），以確保良好的曝光（必要時可以進行曝光補償）。右圖顯示的是一台 2,400 萬像素（4000×6000 像素）相機拍攝的典型星圖。
運行Star模組
從目標中選擇Star ，可以在互動模式下（建議用於入門）或在自動（批次）模式下批次處理文件。
在星圖設定視窗中，確保勾選「計算資訊容量」複選框（位於「設定」部分底部附近） 。 SNRI設定將在稍後介紹。如果其他設定正確，請按「確定」。
按下“確定”按鈕後，系統將分析影像。 Rescharts 中可以選擇多種顯示方式。下表列出了僅可用於資訊容量測量的顯示方式。
| 主顯示屏 | 副顯示螢幕 | 描述 |
| 9. 資訊能力，SNRI | 信噪比 | 平均片段和最多 8 個獨立片段的信噪比 (S/N) 與空間頻率的關係 |
| 訊號雜訊比（dB） | 平均段的訊號雜訊比（dB）與頻率的關係等。 | |
| 訊號、噪音 | 平均段的訊號、雜訊和 (S+N)/N (dB) 作為頻率的函數。 | |
| 訊號強度，10倍噪音 | 訊號、10倍雜訊以及(S+N)/N (dB)作為平均片段頻率的函數。可用於可視化低噪音水平。 | |
| 東北 | 雜訊等效量子隨頻率的變化 | |
| 10. 差分影像（僅雜訊等） | 僅雜訊（輸入無雜訊） | 僅顯示雜訊（已去除訊號）。這是一個非凡的結果——可能是首次在存在訊號的情況下測量和可視化雜訊。 |
| 損失（輸入-理想） | 輸入－無損（測試圖表影像）。顯示的數據已衰減，難以解讀。 | |
| 輸入影像 | 輸入影像（未修改） | |
| 無雜訊影像 | 理想（無雜訊）輸入影像（有 MTF 損失），由S ideal導出。 | |
| 理想影像（無MTF損失） | 無MTF 損失的「理想」影像（代表原始測試圖）。 | |
| 僅雜訊（線性） | 僅進行雜訊線性化處理。通常比伽馬編碼版本更暗。 | |
| 輸入影像（線性） | 輸入影像已線性化。通常比伽馬編碼版本更暗。 | |
| 11. 三維曲面圖 | 以三維曲面圖的形式顯示訊號隨角度（圖表上）和空間頻率（以週期/像素為單位）的變化。最多顯示 8 個圖表週期（顯示更多周期會使畫面雜亂且難以解讀）。影像可以旋轉。請注意，圖表中實際的矩形（角度× 頻率）顯示區域呈扇形。此外，還顯示了訊號和雜訊隨頻率變化的小圖以及結果摘要。 | |
結果
Rescharts 的三個顯示介面專門用於顯示資訊容量結果： 9.資訊容量、訊號雜訊比 (SNRI) 、 10. 輸入無雜訊差分等，以及11. 3D 曲面圖。以下是使用 Rescharts 運行 Star 程序，對一張原始影像（使用 dcraw 程序，採用 24 位元 sRGB 預設轉換為 TIFF 格式；伽馬值約為 2.2）進行分析的結果，該影像由一台高品質的 2,400 萬像素微型四分之三系統相機拍攝。
資訊容量圖
下圖顯示了 2,400 萬像素微型四分之三索尼 A6000 在 ISO 400 下的訊號、雜訊和（訊號+雜訊）/雜訊（dB）。
來自高品質 2,400 萬像素微型四分之三系統相機的原始影像（轉換為 TIFF 格式），ISO 400。
這顯示的是同一幅影像在相機內直接轉換為JPEG格式後的結果。曲線上有一個“凸起”，這是銳化處理的特徵。請注意，即使JPEG影像經過銳利化處理，其香農資訊容量仍低於原始影像。
這是因為高頻噪音和訊號一起被放大了。
訊號、雜訊和香農資訊容量
（2.92 位元/像素）
從相機內生成的JPEG影像
高品質 2400 萬像素
微型四分之三系統相機，ISO 400。
差異影像圖（輸入無雜訊等）
僅雜訊圖（輸入影像與無雜訊影像之差）尤其重要，因為先前尚無影像能夠測量和視覺化在訊號存在下（去除正弦星形圖案）的雜訊。由於在 ISO 400 下雜訊極低，難以觀察，因此我們以 ISO 25600（微型四分之三系統相機的最高感光度）為例，分別展示了原始 TIFF 格式和 JPEG 格式影像的雜訊情況。右側的「複製影像」按鈕可將影像複製到剪貼簿，您可以將其貼上到影像編輯器/檢視器或影像統計模組中進行進一步分析。
|
右側影像是使用相同相機拍攝的同一張照片（ISO 25600）的相機內JPEG格式影像。它與原始/TIFF影像看起來非常不同，因為進行了降噪處理。 下面的圖片是同一台相機在 ISO 400 下拍攝的原始/TIFF 影像和相機內 JPEG 影像。 |
 |
 |
 |
三維曲面圖
3D 表面圖可讓您詳細檢查影像的小部分。
上文分析的高品質 2,400 萬像素微型四分之三相機的 3D 表面圖。
若要獲得此顯示效果，必須在設定視窗中啟用「3D 曲面圖計算」 （以及「計算資訊容量」）。它會將訊號（針對所選通道）顯示為角度和空間頻率（單位為週期/像素）的函數，其中空間頻率與半徑成反比。此圖表示原始影像的一個狹窄扇形區域，其中高空間頻率處的角度細節被顯著放大。
圖中顯示了 MTF 和雜訊隨空間頻率變化的小圖，以及關鍵結果（資訊容量等）的摘要。
繪製此圖的動機源自於 iPhone 10 上的測試。測試中，影像在中低空間頻率範圍內似乎出現了飽和現象，但僅憑影像本身難以評估飽和程度。正如我們在右側所見，飽和度非常高，這顯然是某種局部色調映射的結果。在星形圖案或相鄰傾斜邊緣的 MTF 曲線中，這種飽和現象並不明顯。 iPhone 上安裝了一些 Adobe 軟體，可以同時拍攝 RAW (DNG) 和 JPEG 格式的影像。我們尚不清楚這是否會影響 JPEG 處理。
下圖顯示了 TIFF 檔案（由同一台 iPhone 10 拍攝的 DNG 原始影像轉換而來）的回應。響應呈正弦波形－表現良好，沒有明顯的振幅失真。資訊容量幾乎與失真的 JPEG 影像相同，其中有以下問題：影像飽和時隨機雜訊為零，但雜訊的定義見下文。 （如下）由於振幅失真（偏離正弦函數）而增加。
在其他案例中觀察到的資訊容量對影像處理不敏感，這是一個顯著的結果。相較之下，經過高度處理的JPEG影像的MTF50和MTF50P值則高得多。
正面視圖，顯示出良好的正弦圖案。
從 iPhone 10 JPEG 影像產生的 3D 曲面圖
正面視圖，顯示明顯的裁剪痕跡
（與預期正弦波的偏差）。
旋轉（後視圖），顯示響應滾降。
利用西門子星形圖像計算香農容量
大多數可互換影像（通常採用 sRGB 或 Adobe RGB 等色彩空間編碼）的像素等級都經過伽瑪編碼。對於這些文件，像素等級 ≅ (感測器亮度) 1/伽馬，其中伽馬值（通常約為 2.2）是該色彩空間的預期顯示伽馬值（顯示亮度 = (像素等級)伽馬）。要分析這些文件，必須透過將像素層級提升至伽瑪次方來進行線性化。 RAW 檔案通常不需要線性化（如果它們在去馬賽克處理時沒有進行伽馬編碼，即伽馬 = 1）。
n總週期西門子星的圖像被分成n r = 32 或 64 個徑向段和n s = 8（建議）、16 或 24 個角度段。每個段的週期（以弧度為單位的角長度） P = 2 π n total /n s ，包含n k = n total / n s個週期和k n個訊號點，每個訊號點位於已知的角度位置φ ，範圍為{0, P } 。
我們假設該段中的理想訊號具有以下形式
a和b是使用傅立葉級數係數方程式計算的，這些方程式源自維基百科傅立葉級數頁面，方程式 1。
其中S ( φ )是該段的量測訊號（實際上是訊號加雜訊）。 [注意，雖然此公式不在 ISO 12233:2017 標準中，但它完全符合附錄 F 第 5 步的要求（「透過最小化平方誤差，將具有預期頻率的正弦曲線擬合到測量值。」）]
噪音是
以半徑r （以像素為單位）為中心的線段的頻率f （以週期/像素為單位）為這個方程式的一個有趣推論是，很容易找到奈奎斯特頻率（0.5 C/P） ： = 45.8 像素， n總計= 144 個週期。
如果由於中心誤差、光學畸變或其他因素導致f與預期值略有不同，則需要進行小的調整（此處未描述）。
訊號功率是雜訊功率是其中σ²為變異數（標準差的平方）。注意，訊號加雜訊功率為[註：根據香農的論述“噪聲環境下的通信”，我們假設N ( f ) 是在理想信號 S ( f ) 存在的情況下測得的噪聲；而不是頻率為f的窄帶噪聲。 ]
將香農方程式從一維轉換為像素
香農資訊理論第二篇論文[1]中給出了香農容量的完整一維方程，即式(32)。由於所考慮的像素是二維的，因此不能直接使用該方程式。
[一維；未使用]
由於像素（此處）的單位是面積，因此必須將此方程式轉換為二維方程式。 （ 它們的單位是距離或線性測量值，例如 MTF。）
其中f x和f y分別是x方向和y方向的頻率。為了計算該積分，我們將x和y轉換為極座標r和θ 。
由於S和N對θ的依賴性很弱，我們可以將此方程式改寫為一維方程式。
非常技術性：香農容量的極限情況。假設你有一個 8 位元像素。這對應於 256 個等級（0-255）。如果你把級別之間的距離 1 視為“噪音”，那麼香農方程式的信噪比部分為log₂ (1+ 256² ) ≅ 16。訊息能夠正確傳輸的最大頻寬W——奈奎斯特頻率——是每個像素 0.5 個週期。 （所有高於奈奎斯特頻率的訊號能量都是垃圾－可以說是假訊息。）所以C = W log₂ (1+( S/N ) ² ) = 每個像素 8 位，這就是我們最初的起點。有時候，繞圈子也蠻讓人安心的。
概括
- 香農資訊容量C長期以來一直被用來作為衡量電子通訊頻道品質的指標。它規定了在採用適當編碼的情況下，資料傳輸無誤的最大速率（人們花了近半個世紀才找到接近香農容量的編碼）。對於成像而言，編碼並非關鍵所在。
- C通常以每像素位元數來衡量。總容量為。
- 在計算C之前，必須對通道進行線性化，即必須應用適當的伽馬校正（訊號 = 像素級伽馬，其中伽馬值約為 2）以獲得正確的S和N值。伽瑪值（接近 2）可透過執行任何分析灰階梯圖的Imatest模組來確定，例如：階梯圖、顏色檢查、固定或互動式顏色/色調、 SFRplus或eSFR ISO 。
- 我們假設C值可以作為評估相機品質的指標，尤其適用於機器視覺和人工智慧相機。 （它不能直接應用於消費級相機，因為消費級相機需要精心調校才能發揮其潛力，即拍攝出令人滿意的圖像。）它為比較相機提供了一個公平的基準，尤其是在使用經過最少處理的RAW格式圖像時。
- Imatest計算數位影像Y（亮度）通道的香農容量C ，該容量近似於人眼的敏感度。它也計算各個 R、G 和 B 通道以及色度通道 C <sub>b </sub> 和 C <sub>r </sub> 的C 值（由 YC<sub> b </sub>C<sub> r </sub> 得出）。
- 香農容量過去一直未被用於表徵攝影影像，因為其計算和解釋較為困難。但如今，香農容量的計算變得簡單，其與攝影影像品質的關係也值得進一步研究。
- 我們期待與能夠驗證C 語言與機器視覺/人工智慧系統效能（準確率、速度和功耗）之間相關性的公司或學術機構合作。
整幅影像的資訊容量
我們目前討論的資訊容量是針對單顆恆星的，通常位於影像的中心附近。
在確定單一像素的資訊容量之後，下一步是計算相機的總資訊容量C <sub>total</sub> 。遺憾的是，由於鏡頭銳利度（ MTF響應）往往不均勻，通常會隨著與影像中心距離的增加而降低，因此無法透過簡單地將C乘以像素數來可靠地獲得總資訊容量。要獲得影像的總資訊容量，有兩種方法。
- 使用西門子星圖網格，類似於 ISO 2014/2017 標準中所示的網格。但這種方法不太方便，因為 Imatest 無法自動偵測星圖網格，而且如果有嚴重的光學畸變，這種方法的效果會很差。
- 使用具有多個斜邊的視力表，最好是具有自動感興趣區域 (ROI) 檢測功能的Imatest視力表。建議使用eSFR ISO 、 SFRplus或Checkerboard 型號，但任何斜邊模組均可使用。這需要拍攝第二張影像。
斜邊法－我們建議「 使用 Imatest 測量資訊容量」中所述的新（2023 年）方法。
- 運行四個Imatest圖表之一，並啟用自動感興趣區域 (ROI) 檢測。
- 在「設定」或「更多設定」視窗的「資訊容量」下拉式選單中選擇適當的設定。該設定可能不太顯眼。計算資訊容量會略微降低運轉速度。只有在高速即時影像擷取的情況下，才應該取消勾選此選項。
 資訊容量噪音計算設置，從 Rescharts 設定視窗的截圖中截取 |  資訊容量噪音計算設置，從「更多設定」視窗的左側 |
完整的視窗和完整的說明在SFRplus 、 eSFR ISO 、 Checkerboard 、 SFRreg或SFR 。
結果以 Edge/MTF 圖、兩個新的 3D 圖以及 JSON 輸出的形式呈現。範例請參考白皮書。
選擇“3D 和等高線圖”以及“邊緣資訊上限 C_Max” 。這將顯示C_max 、 C_max_slant_mean和C_max_slant_total的平均值和總值。然後，
其中C max_slant_total = mean( C max_slant ) × 百萬像素。
已棄用從傾斜邊緣推導C總和的舊方法。
連結
（歷史文獻）R. Shaw，“傅立葉技術和資訊理論在攝影影像品質評估中的應用”，《攝影科學與工程》，第6卷，第5期，1962年9-10月，第281-286頁。後來重印於Rodney Shaw編輯的《影像評估精選讀本》，SPSE（現為SPIE），1976年。文中對膠卷資訊容量的計算既引人入勝又頗具挑戰性。 可供下載。
CE Shannon，“ 通訊的數學理論”，貝爾系統技術雜誌，第27卷，第379-423頁，1948年7月；第27卷，第379-423頁。
1948 年 10 月 623-656 頁。
CE Shannon，“ 噪音環境下的通訊”，IRE 會議論文集，1949 年 1 月，第 10-21 頁。
德州大學影像與視訊工程實驗室在影像和視訊品質評估方面進行了一些有趣的研究。以下是一些很有前景的論文。研究內容很有挑戰性！
R. Soundararajan 和 AC Bovik，“ 資訊理論和視覺品質評估綜述（特邀論文） ”，信號、圖像和視頻處理，人類視覺和資訊理論特刊，第 7 卷，第 3 期，第 391-401 頁，2013 年 5 月。
HR Sheikh 和 AC Bovik，“ 影像資訊和視覺品質”， IEEE 影像處理彙刊，第 15 卷，第 2 期，第 430-444 頁，2006 年 2 月。
K. Seshadrinathan 和 AC Bovik，“ 基於運動模型的資訊理論視訊品質指標”，第三屆消費性電子產品視訊處理和品質指標國際研討會，亞利桑那州斯科茨代爾，2007 年 1 月。
HR Sheikh 和 AC Bovik，“ 視頻質量評估的視覺信息保真度方法（特邀論文） ”，第一屆消費電子產品視頻處理和質量指標國際研討會，亞利桑那州斯科茨代爾，2005 年 1 月。
HR Sheikh 和 AC Bovik，“ 圖像資訊和視覺品質”， IEEE 國際聲學、語音和信號處理會議 (ICASSP '04) 論文集，加拿大蒙特利爾，第 3 卷，第 iii - 709-712 頁，2004 年 5 月。
維基百科－香農-哈特利定理是香農方程式的頻率相關形式，應用於Imatest正弦模式的香農資訊容量計算。它被修改為二維方程，轉換為極座標，然後以一維形式表示，以考慮像素的面積（而非線性）特性。
參考
- C.E. Shannon， “噪音環境下的通信”， 《IRE 會刊》 ，第 37 卷，第 1 期，第 10-21 頁，1949 年 1 月， doi：10.1109/jrproc.1949.232969 。