Slanted-edgesによる新たな測定指標:情報容量、NPS、NEQ、およびSNRi

ニュース:Imatest 23.1(2023年3月) ( Imatestパイロットプログラムで利用可能)。傾斜エッジパターンからカメラ情報容量、ノイズパワースペクトル(NPS) 、ノイズ等価量子(NEQ) 、および理想観測者SNR(SNRi)を計算する新しい方法が利用可能になりました。

シャノン情報容量は、2020年のホワイトペーパー「カメラ情報容量:マシンビジョンおよび人工知能システムの主要性能指標」で説明されているシーメンススターの画像からも計算できます。

  • シーメンス・スター測定は、画像処理(デモザイキング、データ圧縮など)によるアーティファクトが重要な場合の情報容量を計算するための推奨方法です。
  • 斜めエッジ測定は、より高速で便利であり、総情報容量の計算に適しています。この方法は、RAW画像から変換された、最小限または均一に処理された画像(バイラテラルフィルタリングなし)で最も効果を発揮しますが、エッジ分散法は、バイラテラルフィルタリングされた画像(ほとんどの民生用カメラのJPEG画像)でも有用な情報を提供します。

シーメンススター法は、 Electronic Imaging 2020カンファレンスで発表され、「 シーメンススター画像からカメラのシャノン情報容量を測定する」という論文に掲載されました。Imatest のニュース記事「シーメンススター画像でカメラのシャノン情報容量を測定する」も併せてご覧ください。2020 年のホワイトペーパー「カメラ情報容量:マシンビジョンおよび人工知能システムの主要性能指標」は、シーメンススター測定についてより分かりやすく解説しています。

このページでは、傾斜したエッジから得られる情報容量やその他の測定値に関する新しい計算結果を紹介します。

写真科学者や技術者は、写真システムが被写体の微細な特徴を再現する能力を、単一の数値で満足に表すことはできないという事実を強調している。
クロード・シャノン

挑戦こそ至福の時!電子通信チャネルには、エラーなく伝送できる情報量の最大値を定量化する指標が存在する。この指標には、鮮明度とノイズ(フィルムの粒子)が含まれる。そして、カメラ、あるいはあらゆるデジタル画像システムは、まさにそのようなチャネルなのである。

ベル研究所のクロード・シャノン*が1948年に初めて発表したこの指標[ 1,2 ]は、電子通信産業の基礎となっている。これはシャノンチャネル容量またはシャノン情報容量Cと呼ばれ、一見単純な式で表される[3]。(詳細はシャノン・ハートレーの定理に関するWikipediaのページを参照。)   

 

W  チャネル帯域幅は、  S ( f )  信号エネルギー(信号の二乗)  電圧。MTF ( f ) 2に比例し、 N ( f )はノイズエネルギー (RMS ノイズ電圧の二乗) であり、フィルムのグレインに対応します。見た目は十分にシンプルですが ( E = mc 2より少し複雑なだけです)、適用するのは簡単ではありません。

クロード・シャノンは真の天才でした。『 クロード・シャノンと過ごした1万時間:天才の思考、仕事、そして生き方』という記事は素晴らしい読み物です。 ニューヨーカー誌やサイエンティフィック・アメリカン誌にも、彼に関する興味深い記事が掲載されています。特に、29分間のビデオ「クロード・シャノン ― 情報化時代の父」は私にとって非常に興味深いもので、これは私が以前の仕事で頻繁に訪れていたカリフォルニア大学サンディエゴ校(UCSD)記憶・記録研究センターが制作したものです。

このページでは、Imatestで最も広く使用されているテスト画像である斜めエッジ画像から情報容量Cを計算する方法について説明します。この方法は(最近の発見により)信号とノイズを同じ位置から計算できるため、画像品質の測定精度が向上します。以前の(2020年)シーメンススター法については、「シーメンススターからのシャノン情報容量」で説明しています。

新しい測定方法の紹介

このページでは、2023年3月にリリースされたImatest 23.1で導入されたいくつかの画像品質測定について説明します。これらの測定は、ImatestでMTF測定に最も広く使用されているパターンである傾斜エッジの新たに発見された特性を利用しています。これらの測定のほとんどは、従来は実施が困難であったため、あまり知られていません。ここでは、2つの新しい測定方法について説明します。エッジ分散法は、カメラの情報容量を簡単に計算します。ノイズ画像法は、情報容量といくつかの追加の画像品質要因を計算するために異なるアプローチを使用します。新しい計算方法を紹介し、その取得方法を示し、 主要な結果を示し、 付録1「計算の概要とアルゴリズム」で詳細なアルゴリズムを示します。

A:エッジ分散法。

走査線の二乗を合計して、エッジの分散を求めます。

エッジ分散情報容量の計算方法については、ホワイトペーパー「 新しい傾斜エッジ画像品質測定:カメラ情報容量のためのエッジ分散法」およびElectronic Imaging 2023で発表された論文「 傾斜エッジによるカメラ情報容量の測定」(現在Imatestのウェブサイトに掲載されています。IS&T EI2023のリンクが利用可能になり次第、そちらを使用します) に詳細が記載されています。このページの説明は非常に簡潔で、上記2つのリンク先の文書に記載されている詳細は省略されています。

標準的な傾斜エッジアルゴリズムは、通常4:1のコントラストチャート(2:1から10:1までのチャートコントラストが許容される)から作成された傾斜エッジの画像( 下の元のROI )から始め、各スキャンラインの中心(エッジにほぼ垂直な方向で取得)を見つけ、中心を多項式曲線にフィッティングし、次に、スキャンライン上の多項式の位置に応じて、スキャンラインの内容を4つのビンのいずれかに追加します。これらの各ビンの平均値は、個々のスキャンラインよりもノイズの少ない4倍オーバーサンプリングされたエッジを形成するためにインターリーブされます。

傾斜エッジの電圧統計

エッジ分散法では、さらに別の加算が行われます。各スキャンラインの二乗を適切なビンに追加して、エッジ信号の分散σ 2を計算します。これは、ノイズ電力Nに相当します。ピークツーピーク振幅V PPの均一分布信号の平均信号振幅は次のようになります。 — 上記のシャノン・ハートレー方程式を用いた情報容量の計算に使用するのに妥当な数値。

主な結果は以下のとおりです。

C4は、4:1のコントラスト比を持つ傾斜エッジを測定した直接的な結果です。これは、いくつかの仮定(信号がピーク間測定値全体に均一に分布していること、およびノイズパワースペクトル密度(NPD)が平坦であること)を用いて、シャノン・ハートレー方程式から計算されます。C4 C nは、 n :1 のコントラスト比 (ISO 標準 4:1 を強く推奨) の C n の特殊なケースです。C nはチャートのコントラスト比と露出に敏感であるため、露出の関数としてのパフォーマンスを測定するのに興味深いですが、カメラの最大情報容量を計算するには理想的とは言えません。

Cmaxは、 C4 (4:1コントラストチャートの場合)から始まる、カメラの最大情報容量をより安定して示す指標です。また、少なくともリニアセンサーにおいては、ノイズが信号電圧の既知の関数であるため、露出の影響を受けません。

B. ノイズ画像法

ノイズの少ないデビニング/逆投影されたROI画像を差し引いて、ノイズ画像を取得します。

この方法は、ISO 12233 ビニング手順を反転させるものです。4 倍オーバーサンプリングされたエッジは 4 つのビンの内容をインターリーブすることによって作成されたことに注目し、ビニング アルゴリズムの逆を適用して、各スキャン ラインの内容を対応するビンに設定します (逆ビニング... ROI 、 下記参照)。逆ビニングされた画像はほぼノイズがないため、元の画像から逆ビニングされた画像を減算することでノイズ 画像を作成できます。この画像は、平均 (ゼロ) 値が中間の灰色になるように調整され、ノイズ 画像 ROIとして下記に示されています。

主な結果は、多くが医療放射線学でおなじみのもので、以下のとおりです。

ノイズパワースペクトル、  NPS ( f )。エッジ分散法では、NPSは暗黙のうちに一定(ホワイトノイズ)であると仮定されていました。

雑音等価量子、 NEQ ( f )およびNEQ info ( f )は、周波数に依存する信号対雑音比 (SNR) の尺度です。  NEQ (f)は医療画像品質の定量化に用いられてきたが、一般的な画像処理ではあまり知られていない。NEQ( f )は光子ショットノイズが支配的な場合にセンサーによって検出される量子数に相当する。 画像センサーに到達する量子密度が既知の場合、デジタル量子効率(DQE)の計算に適しています。NEQ 情報( f)は以下から導出されます。そのため、情報容量C NEQの計算に適しています。

情報容量C 4-NEQとC max-NEQは、エッジ分散法によるC 4とC maxに対応しますが、 NEQ info ( f )から導出されます。これらは近いですが、同一ではありません。

理想的な観測者信号対雑音比、 SNRi SkorkaとKane[ 9 ]によると、「理想的な観測者は、2つの可能な結果を持つ仮説検定の統計的精度を最大化するベイズ的意思決定者です。」ここで紹介するSNRiは、通常はコントラストの低い小さなオブジェクト(正方形または長方形)の検出可能性の指標です。

なぜ2つの方法を用いるのか?

エッジ分散法は、2022年10月下旬に開発が開始され、Electronic Imaging 2022カンファレンスで発表されました。ノイズ画像は、カンファレンスの約1か月後の2023年2月に開発されました。ノイズ画像は、エッジ分散法よりも多くの画像品質パラメータを測定します。

現時点では、カメラの情報容量測定においてノイズ画像法の方が若干精度が高いと考えているため、ノイズ画像法を推奨しています。その理由は、ノイズ画像法はノイズパワースペクトルを計算するのに対し、エッジ分散法はNPSが平坦(白色)であると仮定しているためです。一方、エッジ分散法は、バイラテラルフィルタ処理された画像(一般向けカメラで撮影されたほとんどのJPEG画像)に対しては、有用(ただし不完全)な結果を提供できますが、ノイズ画像法は、均一に処理された画像、または最小限の処理しか施されていない画像にのみ推奨されます。

Imatestで新しい結果を取得する

画像を取得する

eSFR ISOチャート。MTF、色、トーン、ノイズの測定値を組み合わせたROIを自動検出します。

傾斜エッジテストチャート( SFRplus 、 eSFR ISO 、チェッカーボード、 SFRreg 、またはSFR )を、均一でグレアのない光の下で、適切な露出で撮影してください。チャートのエッジコントラスト比は、可能な限り4:1(ISO 12233規格)にしてください(許容範囲は2:1~10:1です)。画像の取得方法は、ほとんどの場合、標準的なMTF測定と同じです。

露出の一貫性は重要です。なぜなら、露出は情報容量の測定に影響を与えるからです(MTF測定においては二次的な影響にすぎません)。完全に露出された斜めエッジ領域の平均ピクセルレベルは、0.20~0.26の範囲内であるべきです。

最適な結果を得るには、斜めのエッジの長さを100ピクセル以上にする必要があります。それより少ないピクセル数でも動作しますが、結果の一貫性が低下します。

MTF計算モジュールを実行します

適切なReschartsモジュール (対話型。開始および設定を行う場合に推奨。Imatestメイン ウィンドウの 2 列目にあるSFRplus Setup 、 eSFR ISO Setup 、 SFRreg Setup 、またはCheckerboard Setup ) または適切な固定バッチ対応モジュール (左側の列にあるSFR 、 SFRplus Auto 、 eSFR ISO Auto 、 SFRreg Auto 、またはCheckerboard Autoボタン) のいずれかを実行します。

設定ウィンドウで、 「情報容量表示」ドロップダウンメニューから適切な設定を選択します。  それはやや目立たないかもしれない。 

「情報容量なし」以外のすべての設定では、エッジ分散とノイズ画像の両方の計算が実行されます。情報容量の計算は、処理速度をわずかに低下させます。これらの設定は、表示領域が限られているエッジ/MTF表示に影響します。下部のグラフで「結果概要」を選択すると、両方の方法の結果がノイズスペクトル、NEQ、SNRiのグラフに表示されます。

設定ウィンドウの一部を切り取った画像で、情報容量ノイズ設定が表示されています。
完全なウィンドウと詳しい手順は、 SFRplus 、 eSFR ISO 、 Checkerboard 、 SFRreg 、またはSFRにあります。

「OK」ボタンを押すと、画像が解析されます。Rechartsでは複数の表示形式を選択できますが、情報容量に関連するのはごく一部(下記参照)のみです。固定モジュールを実行しても同じ結果が得られます。

Reschartsの対話型インターフェースでは、ノイズ計算は「詳細設定」ウィンドウの左側にあるドロップダウンメニューからいつでも設定(または変更)できます。この設定は、 SFRおよびRescharts SFR設定ウィンドウにもあります。

情報容量ノイズ計算(詳細設定ウィンドウの左側)

「その他の設定」ウィンドウの左下で、Imatestの計算方法を選択してください。Imatest 22.1(推奨)が望ましいです。この記事執筆時点では、ISOの計算方法にいくつか問題があります。修正され次第、このメッセージは削除します。

主な結果

エッジ/MTFプロット

上部の(エッジ)グラフに、(個々のエッジに関する)情報容量が追加されました。その他の変更点はありません。

下の画像は、高品質なコンパクトカメラで撮影したeSFR ISOチャート画像をRAW現像したものです。

最小限の処理を施したRAW画像から変換されたeSFR ISO画像のエッジ/MTF結果

情報容量C4 (4:1コントラストチャート用、露出に非常に敏感)とCmax (最大情報容量、露出に比較的鈍感)の両方が表示されます。

エッジ&情報容量ノイズ

これはエッジとMTFプロットのバリエーションです。上のプロットも同様ですが(ただし、このプロットではエッジの導関数である線幅拡散関数が特に重要です)。

線広がり関数(LSF)と信号依存ノイズσ
eSFR ISOイメージを最小限の処理でRAW画像から変換

実線は、幅5ピクセル(4倍オーバーサンプリング)(元のピクセルの1.25倍)の矩形カーネルで平滑化されたノイズです。ノイズは非常に粗く、境界付近に明確なピークがないことに注意してください。グラフの領域を観察すると、ノイズ曲線の隆起はランダムで再現性がないようです。

ここからが面白いところです。上記のグラフに使用した画像は、最小限の処理(ストレートガンマカーブ、シャープニングやノイズリダクションなし、そしてもちろんバイラテラルフィルタリングなし)を施した生の画像から作成されています。以下は、同じ撮影からカメラ内で生成されたJPEGの結果です。端付近に大きなノイズピークがあることに注目してください。シャノン・ハートレー方程式のノイズを計算するために方法(1)を使用します。この方法では、端付近のかなり広い領域で平均を取ります。

線広がり関数(LSF)と信号依存ノイズσ
eSFR ISOイメージをJPEG形式でキャプチャ(強力なシャープネス処理とバイラテラルフィルタリングを適用)

方法(2):平滑化されたエッジノイズの最大値を使用して情報容量のノイズを計算します。この方法は、ノイズのピーク付近の比較的狭い領域を使用してノイズを測定するため、バイラテラルフィルタ付きJPEGに推奨されます。情報容量C4 = 3.11 b/pは、TIFFの3.0 b/pよりもわずかに高いだけです。方法(1)(ピークを強調しない広い領域で平均化)を選択した場合、 C4 = 3.84 b/pとなり、生の測定値よりもかなり大きくなり、明らかに正確ではありません。

3Dプロットと総情報容量

C4とCmaxが、利用可能な3Dプロットに追加されました。

エッジ情報容量C4の3Dプロット

総情報容量Ctotal (信号レベルを基準とした値:この場合は4:1)は、2つの情報容量プロットの重みをすべて1に設定して算出した、ビット/ピクセル単位の加重平均に総メガピクセル数を乗じることで計算されます。これは、平均情報容量(ビット/ピクセル単位)の横に表示されます。

上記の画像では、 C合計= 2.847 ビット/ピクセル × 16 メガピクセル = 45.44 メガビットです。ディスプレイには、エッジ情報キャップ C最大 平均: 2.847、合計 Mb: 45.44と表示されます。

2Dデインターリーブ画像から得られたNPS、NEQ、およびSNRiの結果。

新しい結果(NPS、NEQ、SNRi)と古い結果(MTF)は、図9「ノイズスペクトル、NEQ、SNRi」に表示できます。この図は、利用可能なすべてのカラーチャンネルの結果を示しています。これらの結果を取得するために、f/8、ISO 100に設定された高品質の60mmレンズを備えた24メガピクセルのマイクロフォーサーズカメラが使用されました。

Reschartsによるノイズパワースペクトル(NPS)プロットと結果概要

独立した選択肢がいくつかあります 図の右側にある2つのドロップダウンメニューで、 上段と下段のグラフを選択できます。

上のグラフ下区画

雑音電圧スペクトル
雑音パワースペクトル(NPS)* (上記参照)
雑音等価量子(NEQ)
MTF*
エッジ線形化非正規化*
ノイズ自己相関実験

*NEQ計算への入力値を確認するため

SNRi 正方形の辺 w
SNRi 長方形、辺の長さはw x 2w 
SNRi 長方形、辺の長さはw x 4w 
元の画像を切り抜く
デビン処理済み画像切り抜き(逆投影、低ノイズ)
ノイズ画像切り抜き(オリジナル - ノイズ)
結果概要(上記参照)

2つのドロップダウンメニューの間にあるチェックボックス(上部で「対数x軸」に設定)を使用すると、上部のグラフで線形または対数のx軸を選択できます。

上のグラフ

x軸に頻度を示すグラフの場合、頻度表示を線形または対数に設定できます(上記の表示領域で「対数x軸」にチェックを入れます)。

雑音電力または電圧スペクトル(NPS)

上側のNPSグラフは対数軸で表示され、右側のグラフは線形軸(チェックボックスで選択)で表示されています。ノイズ電力スペクトルと電圧スペクトルのグラフは同じ形状で、y軸のラベルのみが異なります。

1次元ノイズパワースペクトルまたは電圧スペクトルは、ノイズ画像の2次元フーリエ変換(FFT)から導出されます。最初の2次元FFTでは、画像の中心で周波数がゼロになります。画像は複数の環状領域に分割され、各領域の平均ノイズパワーが求められます。NPSは主にNEQプロットへの入力を確認するために使用されます。

雑音等価量子(NEQ)

グラフで使用されている標準NEQは、上記の平均信号電圧Vmeanに基づいています。NEQベースの情報容量CNEQを計算するには、異なる電圧VPP /sqrt(12)が使用されます。

NEQプロットが粗いのは、傾斜したエッジを持つROI(関心領域)のサイズが比較的小さいためです。

変調伝達関数(MTF)

利便性を考慮して、こちらに掲載しています。y軸が対数になっているため、標準的なMTFプロットとは少し見た目が異なります。

エッジ電圧非正規化

主にNEQ計算の入力値を確認するために表示されます。異なるチャンネルのピーク間振幅を比較すると、興味深い結果が得られる場合が多いです。

ノイズ自己相関(実験)

このグラフは、通常のテストよりも研究開発目的で作成されたものです。著者(NLK)は、デモザイキングと固定パターンノイズの影響を除去した場合(右側の画像には該当しません)、ノイズパワースペクトル(および自己相関)がイメージセンサーの電気的クロストーク量を示し、主なノイズ源がフォトンショットノイズであるという仮説を検証するためにこのグラフを追加しました。この仮説の根底にある考え方は、センサーに入射する光は完全に無相関であるため、クロストークがなければノイズは白色になるというものです。

右側の画像はホワイトバランス調整済みです。

この曲線は、著者のウィーナー=ヒンチン定理に関する限られた理解に基づき、ノイズスペクトルの逆フーリエ変換を表している。

右側の画像はホワイトバランス調整されていません。予想通り、赤色チャンネルの自己相関距離は他のチャンネルよりも大きくなっています。画像をクリックすると拡大表示されます。
同様の自己相関プロットは、画像統計モジュール内のフラットフィールド画像からも取得できます。大きな距離(4ピクセル以上)における比較的大きな自己相関(1.3以上)は、明らかに懸念事項です。
下段の区画
理想的な観測者の信号対雑音比(SNRi)

SNRiは、小さな物体の検出可能性を示す指標です。これは、3種類の特徴タイプに対して表示できます。すなわち、辺の長さがwの正方形、およびw × 2wとw × 4wの長方形です( wはピクセル単位の短い辺の長さ)。

SNRiはImatestに新たに追加された機能です。使用方法や解釈方法について経験を積んだら、さらに詳しく説明します。詳細については、Paul Kane [ 8 ] および Orit Skorka と Paul Kane [ 9 ] の論文で解説されています。

画像切り抜き(オリジナル、デビン処理済み、ノイズ除去済み)

以下に、これらの画像全体を切り出した例を示します。ここでは、ノイズの多い画像(ISO 12800)を切り出した例を示しており、元の画像とノイズ除去後の画像の違いが容易に確認できます。

画像はすべて表示用にガンマ補正されています。右側のノイズ画像は明るさとコントラストが強調されています。

ノイズ除去におけるデビニングの効果は目覚ましい。

オリジナル廃棄処分ノイズ
結果概要

最初の2行には、画像プロパティの概要が記載されています。

一番下の行群には、プログラム開発において計算の正確性を確認するために使用されるいくつかの変数が含まれています。

主な結果は、中央値における情報処理能力である。

C4 (EdgeVar)とCmax (EdgeVar)は、エッジ分散法から導出される。

C 4 (NEQ)とC max (NEQ)は、ノイズイメージ法(NEQ から直接計算されるため NEQ と表記)から導出されます。ノイズイメージ法は測定されたノイズパワースペクトルを使用するのに対し、エッジ分散法は白色ノイズパワーを仮定するため、両者は近い値になりますが、完全に一致するわけではありません。

まとめ

注:Imatest 2020以前に使用されていた、主にシーメンス社のスター測定から総情報容量を取得するために使用されていた傾斜エッジ情報容量測定法は、精度が十分ではなかったため、完全に廃止されました。

リンク( ホワイトペーパーにもっと多くのリンクがあります)

  1. CE Shannon、「 通信の数学的理論」、Bell Syst. Tech. J.、vol. 27、pp. 379–423、1948 年 7 月; vol. 27、pp.
    623~656ページ、1948年10月。
  2. C.E. シャノン、「 騒音下における通信」、IRE 会議録、1949 年 1 月、10-21 ページ。
  3. Wikipedia – シャノン・ハートレーの定理には、シャノンの方程式の周波数依存積分形式があり、これはImatestの正弦パターンと傾斜エッジのシャノン情報容量計算の両方に適用されます。
  4. IA Cunningham および R. Shaw、 「医療画像システムの信号対雑音比の最適化」、第 16 巻、第 3 号、1999 年 3 月、pp 621-632、J. Opt. Soc. Am. A
  5. Brian W. Keelan、「ノイズ等価量子イメージングアプリケーション」 、Proc. IS&T Int'l. Symp. on Electronic Imaging: Image Quality and System Performance XIII 、2016、 https://doi.org/10.2352/ISSN.2470-1173.2016.13.IQSP-213 。
  6. Michail C、Karpetas G、Kalyvas N、Valais I、Kandarakis I、Agavanakis K、Panayiotakis G、Fountos G.、 「陽電子放出断層撮影スキャナーの情報容量」 。Crystals。2018; 8(12):459。https ://doi.org/10.3390/cryst8120459 。
  7. Christos M. Michail、Nektarios E. Kalyvas、Ioannis G. Valais、Ioannis P. Fudos、George P. Fountos、Nikos Dimitropoulos、Grigorios Koulouras、Dionisis Kandris、Maria Samarakou、Ioannis S.Kandarakis、「デジタル マンモグラフィーにおける画質と情報容量の図」、 BioMed Research International 、vol. 2014 年、記事 ID 634856、11 ページ、2014 年。 https://doi.org/10.1155/2014/634856 。
  8. Paul J. Kane、「信号検出理論と自動車画像処理」、 Proc. IS&T Int'l. Symp. on Electronic Imaging: Autonomous Vehicles and Machines Conference 、2019、pp 27-1 - 27-8、 https://doi.org/10.2352/ISSN.2470-1173.2019.15.AVM-027 。
  9. Orit Skorka、Paul J. Kane、「理想的なオブザーバモデルを使用した物体検出」、 IS&T 国際シンポジウム「電子画像処理:自律車両と機械」 、2020 年、pp 41-1 - 41-7、 https://doi.org/10.2352/ISSN.2470-1173.2020.16.AVM-041 。
  10. R. Shaw、「 フーリエ変換技術と情報理論を用いた写真画像品質評価への応用」 、Photographic Science and Engineering、第6巻、第5号、1962年9月~10月、281~286ページ。Rodney Shaw編集の「Selected Readings in Image Evaluation」、SPSE(現SPIE)、1976年に再録。写真フィルムの情報容量に関する、興味深くも難解な計算。 ダウンロード可能。
  11. X. Tang、Y. Yang、S. Tang、「従来のCTと比較した微分位相コントラストCTの画像性能の特性評価:ノイズ等価量子スペクトルNEQ(k)」 、 Med Phys. 2012年7月; 39(7): 4467–4482。2012年6月29日オンライン公開。doi : 10.1118/1.4730287
    。

付録1.計算概要とアルゴリズム

このセクションでは、計算の概要を簡単に説明します。結果は以下のとおりです。
詳細については、ホワイトペーパーをお読みください。

動機 ―我々は、非常に異なる種類の画像処理が施された画像から情報容量を取得する必要がある。

2022年10月下旬、ISO 12233傾斜エッジアルゴリズムの見落とされていた機能を利用して、傾斜エッジから信号依存ノイズを抽出する方法を発見しました。以下に簡単に説明し、ホワイトペーパー「傾斜エッジからのカメラ情報容量の測定」でより詳細に説明しています。

2023年3月、 Imatestがカメラのノイズパワースペクトル(NPS)、ノイズ等価量子(NEQ)、および理想観測者SNR(SNRi)を計算できる、これまで見落とされていた2つ目の機能を発見しました。

2000年以来ISO 12233規格の一部となっているMTFの計算のための傾斜エッジ法は、傾斜エッジの関心領域(ROI)内の各走査線y l ( x )を取得し、その中心を見つけ、中心に多項式曲線を当てはめ、線の中心と曲線の関係に応じて、線の内容が4つのビンのいずれかに追加されます。

次に、これらのビンをインターリーブすることで、4倍オーバーサンプリングされた平均エッジが得られます。

MTF(変調伝達関数(通常は空間周波数応答と同義))を計算するには、平均化されたエッジを微分し(結果として線幅広がり関数(LSF)が得られます)、ウィンドウ処理を行い、フーリエ変換します。MTFは、ゼロ周波数で1(または100%)に正規化されたフーリエ変換の絶対値です。

新しい情報容量測定法は、斜辺法のこれまで見過ごされてきた能力を活用している。

A. エッジ分散法

走査線の二乗を合計して、エッジの分散を求めます。

走査線を合計するだけでなく、走査線の二乗も合計します。これにより、信号に依存するノイズ電力に相当するエッジの分散を計算することができます。

信号依存ノイズ(電力σ s 2 ( x )と電圧σ s ( x ) )は重要です。なぜなら、多くの画像(民生用カメラのJPEG画像のほとんどを含む)にはバイラテラルフィルタが使用されており、エッジなどの鮮明な領域付近では画像を鮮明化(ノイズを増幅)し、それ以外の領域ではぼかす(可視ノイズを低減)しているからです。これにより、システムの性能と情報容量にとって重要なエッジのノイズが隠されてしまいます。この新しい技術は、エッジ付近の信号依存ノイズを可視化し、情報容量の計算に利用できるようにします。また、非常に便利な技術でもあります。

新たに発見されたビニングノイズを除去し、ノイズを測定する最適な場所を選択し、エッジ(方形波)からの信号レベルを調整して「平均的な」信号をより代表するようにした後、数値をシャノン・ハートレー方程式(上記)に入力して情報容量を計算します。この情報容量は、チャートのコントラストを参照します。

この説明は極めて簡潔にまとめられています。詳細な説明は、ホワイトペーパー「斜めエッジからのカメラ情報容量の測定」をご覧ください。

B. ノイズ画像法

ノイズ画像を取得するには、元の画像から低ノイズの逆投影/デビニングされたROI画像を差し引きます。

前述の4倍オーバーサンプリング平均エッジは、元のROI画像(左下)の各スキャンラインを、平均化(ノイズ低減)された信号を含む4つのインターリーブされたビンのいずれかに追加することによって作成されました。対応するインターリーブの平均化された信号で新しい画像の各ラインを埋めることで、これをデインターリーブ(デビニングまたは逆投影。この名称は確定ではありません)できます。これにより、元の画像(中央下)の低ノイズ複製が作成されます。

ノイズ画像は、元の画像から逆投影画像を差し引くことで作成できます。以下に3つの画像を示します。平均値が0のノイズ画像(右下)は、表示用に明るさとコントラストが強調されています。3つの画像は線形です。表示用にガンマカーブが適用されています。

元の投資収益率逆ビン化/デインターリーブ/
逆投影ROI
ノイズ画像ROI

これらの画像により、医療画像システムでよく知られており、 Ian Cunningham と Rodney Shaw による優れたレビュー論文[ 4 ] で説明されているノイズパワースペクトルやノイズ等価量子など、いくつかの重要な画像品質パラメータを計算することができます。これらの測定値は、測定が困難であったため、医療画像以外の分野ではあまり知られていません。

ノイズパワースペクトル(NPS) ( ノイズ(電圧)スペクトルの二乗)は、ノイズROI(関心領域)の2Dフーリエ変換を行い、初期2Dスペクトルが画像の中心でゼロ周波数を持つことを考慮して計算されます。1DノイズパワースペクトルNPS 1は、 2Dスペクトルをいくつかの環状領域(その数はROIのサイズによって異なる)に分割し、各領域の平均ノイズパワーを取ることによって計算されます。この変換により、垂直MTFと水平MTFが近いという仮定の下で、(2次元ではなく)1次元で計算を実行できます。

NPSとノイズ画像の分散の関係は、 CunninghamとShaw [ 4 ]の式(3)と(8)で与えられており、我々はこれを1次元に縮小し、積分範囲を{-∞,∞}から{0, f Nyq }に変更しました。ここで、 f Nyq = ナイキスト周波数 = 0.5サイクル/ピクセルです。

   

上記で説明した1次元フーリエ変換は、上記の式と整合するようにスケーリングする必要がある。

 

雑音等価量子(NEQ)は、医用画像処理ではよく知られた性能指標ですが、一般的な画像処理ではあまり知られていません。これは、Brian Keelan による 2016 年の論文 [ 5 ] で説明されています。基本的には、周波数に依存する信号対雑音比(電力比)です。単位は、光子ショットノイズが支配的な場合に測定された SNR を生成する量子の等価数です。

ここで平均線形信号は、  μは、 NEQをどのように解釈するかによって、2つの方法のいずれかで定義できます。

NEQをDQE (デジタル量子効率)の計算に使用する場合、 、 それから μは、元の画像における線形化された信号電圧の平均値であるべきです。DQEの測定には、各ピクセルに到達する量子数の平均値を別途測定する必要があります。これは将来的に追加する可能性があります。

NEQの特殊な形式であるNEQ info ( f ) は、以下を使用して計算されます。は、シャノン・ハートレー方程式の特殊な場合から情報容量C NEQを計算するために使用されます。NEQ 情報はグラフ化されません。

 

ここで、帯域幅Wはカメラのナイキスト周波数であり、 [著者注:私はこの関連性を発見したと思っていたのですが、それはChristos MichailらによるPETスキャナーとデジタルマンモグラフィに関する論文[ 6,7 ]に記載されていました。医療画像分野以外の人が偶然目にするような論文ではありません。]

NEQの意味と使い方を理解するには時間がかかります。Tangらによる「従来のCTと比較した差動位相コントラストCTの画像性能の特性評価:ノイズ等価量子スペクトルNEQ(k)」は、医療画像におけるNEQの使用方法の優れた例であり、真の技術的深みがあります。

理想観測者SNR(SNRi)は、小さな物体の検出可能性の尺度です。これは、Paul Kane [ 8 ] および Orit Skorka と Paul Kane [ 9 ] の論文で説明されています。その式は次のとおりです。

ここで、空間周波数νの単位はサイクル/ピクセルであり、線形化された信号は最大値が1になるように正規化されています。

G ( υ )は検出対象オブジェクトのフーリエ変換であり、通常は寸法w × kwの長方形で、 k = 1 (正方形の場合) または長方形の場合は 2 または 4 です。その振幅 (現時点では) は傾斜エッジのピークツーピーク電圧です( 上の電圧統計図に示されています) 。一般的にコントラスト比は4:1である。

一次元では、

解析を簡略化するため、 Gは1次元( υ = υ x υ y )に縮小された。G (υ) 2はNPSと同じ単位を持つ。

SNRiは、 wが1から20まで、 wの平方根の約倍数(1、1.4、2、…)ずつ増分して、各カラーチャンネルについて表示されます。

付録2:シャノン情報容量の意味

(ホワイトペーパーの付録「斜めエッジによるカメラ情報容量の測定」を参照)
(情報に関する簡潔な定義がある。)

電子通信チャネルにおける情報容量とは、チャネルをエラーなく通過できる情報の最大量、つまりチャネルの「良さ」の尺度です。実際の情報量は、コード、つまり情報がどのように表現されるかに依存します。しかし、符号化はデータ圧縮(画像がファイルに保存される方法)に不可欠ですが、デジタルカメラには関係ありません。重要なのは、次の仮説です。

仮説:知覚される画像品質(適切に調整された画像処理パイプラインを前提とする)およびマシンビジョンと人工知能(AI)システムの性能は、カメラの情報容量に比例し、その情報容量はMTF(鮮明度)、ノイズ、デモザイキング、クリッピング(存在する場合)、およびデータ圧縮から生じるアーティファクトの関数である。

これはあくまで仮説、つまり推測を表す数学用語であることを強調しておきます。私の経験や数々の測定結果とは一致していますが、さらなる検証と確認が必要です。Imatestを使えば情報容量を簡単に計算できるようになった今、それについてより深く学ぶ機会が得られたと言えるでしょう。

先に述べたように、情報容量は帯域幅Wと信号対雑音比S/Nの両方の関数です。

シャノン容量を紹介するテキストでは、帯域幅Wはしばしば半値周波数と仮定され、これはMTF50と密接に関係しています。厳密に言えば、 W log 2 (1+ S / N )は白色雑音(フラットなスペクトルを持つ)と単純なローパスフィルタ(LPF)の場合にのみ正しいです。しかし、デジタルカメラはシャープネスの度合いが様々であるため、応答曲線は単純なLPF応答から大きく逸脱する可能性があります。このため、シャノン・ハートレー方程式の積分形式を使用します。

SとNは信号電力と雑音電力の平均値であり、カメラのダイナミックレンジ(利用可能な最大信号)とは直接関係ありません。そのため、 Cの計算は測定に使用したチャートのコントラスト比を参照します。最も一般的には、ISO 12233規格に準拠した4:1コントラストチャートの場合はC 4が用いられます。

シーメンススター解析では、ピクセルの二次元性を考慮するため、この式を二重積分に変換し、極座標形式に変換した後、再び一次元形式に戻すことで変更しました。しかし、傾斜エッジの場合は既に一次元であるため、この変更は必要ありませんでした。

シーメンススター法とスラントエッジ法のどちらの利点も、信号電力Sと雑音電力Nが同じ位置から計算される点にある。これは、雑音が画像全体で一定ではないことが多いため、重要な点である。