Simatest - カメラ/ISPシミュレーター

説明書と参考資料

SimatestはImatest 25.1の一部であり、 Imatestパイロットプログラムを通じて利用可能です。

導入

Simatest ― Imatest が2025 年初頭に発表したカメラおよび ISP (画像信号処理) シミュレーターは、レンズの劣化、イメージセンサーのノイズ、ISP パイプラインの影響などを含む完全なカメラシステムをシミュレートし、重要な画像品質要素 (KPI) をすべて予測できます。また、任意の順序で適用できる多数の ISP 処理ブロックを備えています。

Simatestへの入力は以下で構成されます。

• カメラからの画像、または以下に説明するシミュレーション画像
• カメラシステムの物理的特性には、レンズのぼけ、イメージセンサーのノイズ（測定が難しく二次効果であるため、後で追加されるMTFを含む）、カラーバランス（照明とセンサー/CFAの分光応答の関数）が含まれます。これらは特定のカメラをシミュレートする際には変更すべきではありませんが、「もしも」のシナリオを調査するために調整することはできます。

設定ウィンドウには多数のISP調整項目がありますが、ここでは（比較的少ない）物理的特性に焦点を当てて説明します。

• 自由に調整できるもの — これらのほとんどは画像信号処理（ISP）を実行します。

Simatest ブロック図

Simatestの入力画像には以下が含まれます

• デモザイキングの有無にかかわらず、カメラから取得した未加工または最小限の処理を施したカメラ画像。処理は最小限（シャープネス、ノイズリダクションなどは施さないのが最適）。
  • 生画像は、イメージセンサーのノイズやRGBカラーバランスの不均衡を測定するために使用されます。
  • 最小限の処理を施したデモザイク画像を用いて、測定されたMTFとSimatestのガウスフィルター処理結果を照合することにより、レンズのぼけを推定する。
  • 高度に加工された画像（ほとんどの一般向けカメラのJPEG画像に見られるもの）は、 Simatestへの入力には推奨されません。
• Imatestテストチャートモジュールによって生成されたシミュレートされたビットマップテストチャート画像、
• Code VやZemax OpticStudioなどのレンズ設計プログラムによってレンズの劣化を考慮して処理された、シミュレーションされたビットマップ画像ファイル（入手可能な場合は推奨）。

Simatestはあらゆる画像データを処理できますが、定量的な結果（MTF、トーンレスポンス、情報容量など）が必要な場合は、テストチャート画像の使用をお勧めします。推奨されるテストチャート画像は以下のとおりです。

Simatest 処理には以下が含まれます

• カメラとレンズの画像劣化、ノイズ、霧（ベールグレア）、ぼやけなど、レンズの劣化は非常に単純化されていますが、ISP の設計とテストには十分です。
• 露出（および露出指数の変更をシミュレートするためのゲイン）、ガンマ、ベイヤーデモザイキング/モザイキングなどの画像調整、
• カラー補正マトリックスの適用、トーンマッピング（ハイダイナミックレンジ（HDR）イメージングで使用）、シャープニング（標準またはアンシャープマスク（USM））、バイラテラルフィルタリングなどの画像強調処理、
• モーションブラー、ピントずれ、低照度条件などをシミュレートする機能。

Simatestの結果

• 人間の視覚の場合、結果はSimatestで即座に確認できます。 インタラクティブウィンドウ。入力画像と出力画像を個別に、または並べて表示できます。
• マシンビジョンの場合、処理結果はSimatestで表示するか、下記にリストされているImatestモジュールを直接開いて、主要な画像品質測定値をすべて取得できます。
  • 再チャート：MTF、ノイズ、および画像情報指標（情報容量、PSD、NEQ、SNRi、およびエッジ位置σ ）、
  • 色/トーン：トーン応答、ノイズ、SNR、および光子伝達曲線、
  • 画像統計：スペクトル、ヒストグラムなど
  • SSIM 、 PSNR 、 MTF （出力/入力）、光学文字認識（OCR） 、顔または人物検出など、その他の結果はSimatestで直接確認できます。

Simatestには、生画像測定値またはEMVA 1288の結果に基づいた、高精度なイメージセンサーノイズモデルが含まれています。放射測定計算は不要ですが、カメラの絶対感度を決定する際には役立つ場合があります。将来的には追加される可能性があります。

Simatestは拡張可能です。処理ブロックは、お客様のご要望に応じて必要に応じて追加されます。初期セットのブロックは、主に視覚的に確認でき、測定可能な画像品質に影響を与える操作に重点を置いています。

Simatestは、複数の画像をバッチ処理で処理することができ、バッチ内の画像を自動的に読み込み、処理し、保存します。

Simatest入力ファイル

Simatestへの入力は、 Imatestが読み取り可能で、 「画像ファイル形式と取得デバイス」に記載されている、RAWまたはデモザイク処理済みの画像ファイルであればどれでも構いません。Simatestはあらゆる画像に対応できますが、テストチャート画像が最も有用な定量的結果をもたらします。入力ファイルには主に3つの種類があります。

テストチャートプログラム —カメラシミュレーションに最適なテストチャート画像を最も手軽に入手できるのは、 Imatest Test Chartsプログラムです。以下に、2400×1600ピクセルのEnhanced eSFR ISO 2017チャートを作成するための設定例を示します。

Test Charts を使用すると、物理的なチャートの印刷やチャート画像の分析に使用できる SVG (スケーラブル ベクター グラフィックス) またはビットマップ (TIFF または PNG) チャート ファイルを作成できます。パターンドロップダウン メニュー (左上) で選択できる多数のチャート タイプと、多数のオプションが用意されています。連続トーン (正弦波のシーメンス スターなど) を含むチャート パターンは、印刷またはImatest分析用にサイズ調整されたビットマップファイルとして作成する必要があります。Simatestで使用されるチャートは SVG チャートとして作成され、ビットマップ ファイルに変換する必要があります。

以下の情報で作業を開始できるはずです。詳細なドキュメントは「テストチャート」および「SVGテストチャート」のページをご覧ください。また、 Simatestの開発とテストに使用された2400×1600ピクセルのeSFR ISO PNG画像（カラーパッチ付き）をダウンロードすることもできます。

表示または印刷を目的とした画像のほとんどは、ガンマ値2.2（ディスプレイまたはカラースペースのガンマ値）で作成されています。これらの画像をSimatestで使用する場合は、入力ガンマ値を0.45に設定してください。テストチャートの設定の中には、ドロップダウンメニューに隠されているものがあります。設定ドロップダウンメニューで、eSFR LogWedge max = 4000 LW/PHを選択することをお勧めします。

テストチャートを作成する際に、8ビットまたは24ビットのPNGビットマップファイルを直接保存できます。チャートのプレビュー画像（上記参照）のすぐ下にある「PNG（ビットマップ）ファイルを保存」にチェックを入れ、隣接するボックスでPNGの高さ（ピクセル）を選択してください。

設定が完了したら、 「テストチャートを作成」を押して、ファイル（SVGとPNGの両方）を都合の良い場所に保存してください。

Inkscape （優れた無料プログラム）を使えば、 SVGファイルを開いて任意のサイズで印刷したり、ビット深度8または16（24ビットまたは48ビットカラー）のビットマップファイルに変換したりできます。階調応答やダイナミックレンジのチャートを作成する場合は、SVGファイルを16ビットまたは48ビットのPNGまたはTIFF（ビットマップ）ファイルに変換することを強くお勧めします。

• Inkscapeウィンドウで、 「ファイル」 （ドロップダウンメニュー）をクリックし、 「エクスポート...」を選択します。すると、ウィンドウの右側にエクスポート設定が表示される領域が開きます。
• 高さ（px）を希望のピクセル値に設定してください。幅は比例して変化します。（もちろん、幅を選択することもできます。）
• 画像サムネイルのすぐ下のボックスでファイル名を編集し、右側のボックスでファイル形式を選択してください。PNG（*.png）またはTIFF（*.tiff）をお勧めします。
• 右下にある小さな歯車（設定）アイコンをクリックします。これにより、小さなエクスポート形式オプションウィンドウが開きます。ビット深度をRGB 16に設定することをお勧めします。
• ビットマップ画像を保存（エクスポート）するには、 「エクスポート」ボタンを押してください。

Code VやZemax OpticStudioなどのレンズ設計プログラムでは、現実的なレンズモデルを使用してチャート画像を処理し、劣化（ぼかし、色収差、周辺減光の追加）させることができます。チャート画像は、テストチャートのバックエンドであるImatest Target Generatorを使用して作成できます。これは、SVG チャートをビットマップファイルに変換します。 [確認が必要です: Code V への入力チャートは、ガンマ = 1 (線形ガンマ) である必要があります。これらの画像をSimatestで使用する場合は、入力ガンマ = 1に設定してください。 ]レンズ設計プログラムを使用した場合、アンチエイリアシング (光学ローパス) フィルターをシミュレートする必要がない限り、Simatest (ぼかし) フィルターは必要ありません。

カメラから取得した画像（ LibRawまたはReadRawでRGBに変換したRAW画像、または最小限の処理を施した画像）は問題なく動作します。これには、調整が必要な現像システムからの実際の画像も含まれます。これらの画像には既にぼかしやノイズが含まれているため、（ぼかし）フィルターやノイズブロックは不要です。

民生用カメラで撮影されたJPEG画像のほとんどは、複雑な階調応答曲線（いわゆる「肩」を持つもの）や非線形かつ不均一なバイラテラルフィルタリングなど、高度な画像処理が施されているため、有用な結果を得ることが難しく、避けるべきです。

Simatest を実行中

右側に表示されているImatestメインウィンドウの右側にあるユーティリティドロップダウンメニューまたはユーティリティタブでSimatestを押します。分析を実行するには、

• 画像ファイルを読み込みます。バッチ（複数）ファイルにも対応しています。
• 設定は前回の実行結果が保存されます。必要に応じて、後述するSimatest設定ウィンドウから設定を更新できます。
• 計算結果を更新してください。設定ウィンドウ右下の「自動更新」にチェックが入っている場合は、自動的に更新されます。
• 処理済みの画像をRescharts 、 Color/Tone 、またはImage Statisticsに送信するなど、関心のある結果表示を選択してください。

「画像ファイルの読み込み」と「Simatest設定」を押す順番は関係ありません。

更新されたSimatestウィンドウを以下に示します。この場合、処理後の画像は、拡大せずに表示すると入力画像と非常によく似ています。しかし、拡大して並べて表示すると、以下に示すように大きく異なって見えることがあります。

処理済み画像を表示するSimatestウィンドウ（入力画像の表示）

設定

Simatest設定ウィンドウでは、解析の設定を行うことができます。処理ブロックを選択し、そのパラメータと操作の順序を調整できます。設定ウィンドウを開くには、 Simatestウィンドウの左上にある「Simatest設定」ボタンを押してください。設定は前回の実行から保存されているため、必ずしも開く必要はありません。設定は画像の読み込み前または読み込み後に行うことができます（ただし、複数の画像をバッチ処理する場合は必ず読み込み前に行ってください）。

設定ウィンドウには、多数の処理ブロックが含まれています。シャープネス、トーンマッピング、バイラテラルフィルタなど、複数の処理方法（アルゴリズム）と関連パラメータを持つブロックは、長方形の枠内に表示されています。一方、露出やゲインなど、関連パラメータが最大でも1つしかないブロックは、枠内に表示されません。設定ウィンドウにおけるこれらのブロックの表示順序は、選択する処理の順序とは関係ありません。

Simatestの設定は、 1.入力処理と劣化、2.劣化（ノイズ、ぼやけ） 、3.色調調整、4.シャープネス/ノイズ低減、 5.画像ファイル保存設定の5つの領域に分かれています。一部のカテゴリは重複しており、たとえば、cos ⁴レンズシェーディングは周辺光量落ちを追加および補正するため、劣化ではなく調整に分類されています。

右上にある「画像信号処理（ISP）ブロック」ボックスには、一連の操作が記述されています。空白行は、エントリの挿入、配置、削除を容易にするためのものであり、設定がメインウィンドウに転送される際や処理される際には無視されます（表示されません）。

画像処理ブロック

前述のとおり、計算を更新すると、選択した順序で画像処理ブロックが適用されます。入力画像ソースによっては、 Simatestに画像を入力する前に、劣化または強調処理の一部が実行されている場合があります。たとえば、一般消費者向けカメラで撮影したJPEG画像には、通常、非線形かつ不均一なバイラテラルフィルタが適用されています（ Simatestでの使用は推奨しません）。カメラで取得した画像には、ノイズとフィルタリング（ぼかし）が既に暗黙的に適用されています（つまり、ノイズとぼかしは画像に既に存在するため、追加する必要はありません）。

以下は、2025年1月時点で利用可能な処理関数の一覧です。ほとんどは、MATLABファイル交換から入手できる標準のMatlab関数、またはカスタムImatestコードです。注記：（L）は線形画像にのみ推奨されます。

注：右下の列にある（L）は、線形ガンマ（1）が推奨されることを示します。

処理ブロック	説明	関数： リンクで説明されています
入力ガンマ	処理ブロックではありません。入力ガンマは、処理の各状態における画像ガンマを追跡するために必要です。これは、一部の操作では画像が線形（ガンマ = 1、 (L)で示される）である必要があるため重要です。 入力ガンマが正しく入力されていない場合、ほぼ確実にエラーが発生します。入力ガンマは通常、（リニア）RAW画像の場合は1、交換可能なカラースペース画像（sRGB、Adobe RGBなど）の場合は0.45～0.5程度です。「ブラックボックス」画像の場合、ガンマはカラー/トーンで測定できます。	ガンマ、音色応答曲線、および関連概念
初期処理と調整
暴露 ゲイン = 1/露出 ゲイン（スライダーで設定）	露出/ゲイン乗数（良好な結果を得るにはガンマ＝1（線形）が必要） 露出（スライダーで設定する乗数。通常は1未満）は、ノイズを追加する前のシミュレーション画像に一般的に適用されます。これは、実際の露出の変化を表します。 ゲイン（ゲイン＝1/露出）は、通常、ノイズが加えられた後に適用されます。 実効露出指数（別名「ISO感度」）は、画像振幅に露出（通常は1未満）を乗じ、イメージセンサーノイズを適用し、最後にゲイン（1/露出）を乗じることで調整できます。これは、EIに1/露出（またはゲイン）を乗じることに相当し、信号対雑音比が低下します。 例えば、基本EIが100の場合、ノイズ処理前にExposure = 0.125を適用し、ノイズ処理後に1/Exposure = 8を適用すると、EIが8倍になって800になるのと同等になります。信号の平方根に比例して増加する光子ショットノイズは、非常に暗い領域を除いて支配的になる傾向があるため、SNRの劣化は1/8（0.125）未満になります。	（L）
バイエルモザイク デモモザイク	Demosaic は、カラーフィルターアレイ (CFA)モザイク処理されたベイヤー RAW 画像 (モノクロ形式) を、MATLAB のdemosaic関数を使用して 3 色 RGB ファイルに変換します。この関数は、定評のあるMalvar-He-Cutlerアルゴリズム ( スタンフォード大学のものとは若干異なるバージョン) を使用しています。デモザイキングは複雑な処理であり、アーティファクトが発生したり、ノイズ パワー スペクトルに影響を与えたりする可能性があります。カメラの RAW ファイルは、 Simatest を実行する前に、 Imatest LibRaw および ReadRawモジュールによってデモザイキングすることもできます。 MATLABのデモザイキング機能には、色の異なる領域間の境界が急峻な部分で「ジッパー現象」が発生するという欠点が見つかりました。現時点では、適切な代替手段は見つかっていません（2025年4月現在）。 ベイヤーモザイク（デモザイクの逆）は、3色RGB画像をモノクロのモザイク処理された擬似RAW画像に変換します。これは、画像にノイズを追加したり、 Simatestの入力がシミュレーションされた（RGB）画像である場合にデモザイキングの効果を研究したりするのに役立ちます。シンプルで分かりやすいアルゴリズム（アーティファクトなし）を使用して、RGB画像を4つのベイヤー配列（{RGGB、GRBG、GBRG、またはBGGR}）のいずれかに変換します。	デモモザイク Imatestの生処理 IPOL参照 スタンフォード大学参考資料
RGBバランス （カメラの物理的特性）	生画像に見られるRGBバランスの不均衡（通常、緑チャンネルが赤または青チャンネルよりも大きい）を補正または加算します。R、G、Bはそれぞれ別のボックスに入力できます。値は「カラー/トーン」で確認できます。不均衡を加算するには乗算（ノイズを追加する前に行うのが適切）、補正するには除算（パイプラインの後半で行うのが適切）を使用します。	（L）
霧（フレアまたはベール状のまぶしさ） （カメラの物理的特性）	画像に霧をかける：フレア光を追加したり、グレアをベールで覆ったりするのと同等の効果です。画像に定数（霧）を加算または減算します。 画像出力= 霧 + ( 1-霧)*画像入力霧は通常、0.3未満の小さな割合です。 霧の負の値は、存在する場合、黒レベルオフセットを除去するために使用できます。
モノクロ	カラー画像（ m × n × 3）をモノクロ画像（ m × n ）に変換するには、輝度チャネル方程式（通常は 0.2125×R + 0.7154×G + 0.0721×B）を使用するか、3 つのチャネルの平均値を使用します。
AWB（オートホワイトバランス）	自動ホワイトバランスは、ほとんどのテストチャート画像には適していますが、実際の画像、特に支配的な色を持つ画像には適さない、単純な「グレーワールド」アルゴリズムを使用して実行されます。
線形化（セット）	（推奨されるガンマターゲット 1 に相当）画像を線形化します（ガンマエンコーディングを削除します）。画像を線形化し、操作を適用した後、ISP パイプラインの終盤で最終的なエンコーディング ガンマを再適用できます。ガンマ = 1 は、標準シャープニング（シャープニングのページで説明されている 1D シャープニングの 2D バージョン）など、ほとんどの処理ブロックで推奨されます。USM シャープニングには推奨されません。
ガンマ	画像にガンマエンコーディングを適用します。ガンマは、スライダー（上記参照）と、 [ターゲット]および[乗数]を含むポップアップメニューで選択できます。入力と出力がガンマエンコードされている場合（多くの場合、ガンマ≅0.5）でも、多くの操作をガンマ=1で実行する必要がある場合があるため、これは重要です。 [乗数]の場合、 画像出力= 画像入力γ 。ターゲットの場合、ガンマの現在の値はγ_currentです。 画像出力= 画像入力(γ/γ_current) 。	ガンマ、音色応答曲線、および関連概念
追加、cos 4レンズのシェーディングを修正	レンズの「周辺光量落ち」とも呼ばれます（ガンマ値＝1（線形）を推奨）。 標準的なcos 4の角度方程式を使用して、周辺光量落ち（ビネット）を追加または補正します。レンズの焦点距離/センサーの対角距離はスライダーを使用して入力する必要があります。ノイズが追加される前のISPパイプラインの初期段階でシミュレーションされた画像に適しています。実際のカメラ画像には既に周辺光量落ちが存在します。 レンズの陰影は、ガンマがまだ1の段階で、パイプラインの後半で補正できます。	（L）
反転（セット）	画像を反転、つまりネガティブ画像に変換します。使用頻度は低いです。線形画像（ガンマ値＝1（線形）を推奨）に対して実行するのが最適です。
サイズ変更	画像のサイズを、サイズにスケールを乗じて変更します。最近傍法、双線形補間法、双三次補間法が利用可能です。
画像劣化：ぼやけ、ノイズ、形状 多くの場合、カメラで撮影された画像処理前の画像に見られます。処理は一般的に線形です。
ノイズ（ガウス分布） （イメージセンサーノイズはカメラの物理的特性です）	主な選択肢は以下のとおりです。 ノイズ（ガウス分布） - シンプル：信号に依存しません。ショットノイズと固定パターンノイズは無効になっています。 ノイズ（ガウス） -信号依存のイメージセンサーノイズが適用されます。すべての設定が有効になっています。以下に示すように、カラー/トーンの設定を使用してください。 輝度比が0の場合、RGBチャンネルのノイズは無相関です。輝度比が1の場合、ノイズは相関します。（詳細は現在検討中です。） ノイズを（ベイヤーモザイク処理後の）生画像に適用する場合、生画像はモノクロであるため、設定は関係ありません。これにより、デモザイク処理された画像における輝度ノイズと色度ノイズの最適な推定値が得られます。 画像センサーのノイズは、シミュレーション画像にとって非常に重要な要素である。 計算方法は以下のとおりで、より詳細な説明はSimatest の例(最良の情報源) およびColor/Tone & eSFR ISO ノイズ測定の項を参照してください。センサーノイズモデルの使用にチェックを入れ、2 つのノイズパラメータ (光子ショットノイズと暗ノイズ) をそれぞれsigma (fraction)とsigma (dark noise)に入力する必要があります。	imnoise : HSV V チャンネルにノイズを追加します。パラメータは sigma [] と Luma noise [] です。
フィルター	画像をフィルタリング（ぼかし）します。通常はノイズ処理の前に適用されますが、ノイズ処理後に適用することも可能です（ノイズスペクトルに影響します）。レンズのぼやけ、モーションブラー、ピントずれ、回折をシミュレートできるノイズには4種類あります。 ガウスぼかし（imgaussfilt - 一般的なぼかし）。シグマ（標準偏差）をピクセル単位で入力してください。 モーションブラー（水平方向）、長さをピクセル単位で入力してください。 円盤（焦点ずれ）。半径をピクセル単位で入力してください。 エアリーディスク（回折）。スライダーに最初のヌルaをピクセル単位で入力します。 a = 1.22 λ F# / p は、波長λ (緑色の場合、約 0.530 μm)とピクセル ピッチpに対して成り立ちます。λとp は、通常マイクロメートル (μm) などの単位が一致している必要があります。例えば、f/2.4、緑色チャンネル (0.530 μm) でピクセル ピッチが 2 μm のカメラの場合、 a = 0.776 ピクセルとなります。 このフィルタが適用されると、2Dエアリーカーネル（(2*besselj(1,x/a)./(x/a)).^2 から導出される。ここで、aは最初のヌル値）がクリップボードにコピーされます。	imgaussfilt : パラメータ sigma を使用した画像の 2 次元ガウスフィルタリング、 fspecial : 2 次元カーネルを作成、 filter2 、 imfilter Wikipedia エアリーディスク| シンプルなエアリーパターン
放射状幾何学	（複数のモデルのいずれかを使用して）光学歪みや横色収差を追加または補正します。 [注:現時点では、これは設定ウィンドウのブロックではなく、メインのSimatestウィンドウ内の独立したImatestモジュールです。処理された画像が開き、歪みを加えたり、歪みを補正したりできます。これは、 Radial Geometryモジュールをほとんど変更せずに使用できるようにするための応急処置です。] 将来的には、その一部 (おそらく横方向の色収差) をSimatestに統合する予定です。	放射状幾何学
トーン強調:色を補正するか、次の目的で使用される 3 つのトーンマッピングアルゴリズムのいずれかを適用します。 ハイダイナミックレンジ（HDR）画像を表示すると、色調応答が非線形かつ不均一になる場合があります。
カラー補正マトリックス（CCM） 2025年1月現在、Simatestに十分に統合されていません。CCMはSimatestを実行する前に計算する必要があります。	カラー補正マトリックス（CCM）を適用します。CCMは、カラー/トーンで計算して保存できます。CCMを適用する段階（通常はISPパイプラインの終盤）で、 Simatestで処理された画像を使用します。CCMチェックボックスの右側にある「CCMを設定」ボタンをクリックすると、マトリックスを設定できるウィンドウが開きます（右側に表示。サムネイルをクリックするとフルサイズで表示されます）。このウィンドウでは、ファイルから読み込むかクリップボードから貼り付け、オプション（線形化など）を選択できます。	カラー補正マトリックスは、カラー/トーンで計算されるCCMについて説明します。 2025年1月現在、 Simatestへの統合は十分ではありません。カラーチャートの領域選択時にColor/Toneを実行する必要があるため、完全な統合は困難です。
トーンマッピングブロックは3つあることに注意してください。目的は同じですが、アルゴリズムが異なります。
トーンマッピング	ダイナミックレンジが限られたディスプレイで表示するために、高ダイナミックレンジ（HDR）画像をレンダリングします。トーンマッピングは、ダイナミックレンジが限られたディスプレイ上で高ダイナミックレンジ画像の見た目を近似するために使用される技術です。非均一かつ非線形	トーンマップ：表示用に高ダイナミックレンジ画像をレンダリングします
ローカルトーンマッピング	ラプラシアンフィルタリングを使用したHDR画像用の代替トーンマッピングアルゴリズム。異なる調整セットを持ち、異なる結果（より彩度の高い画像）を生成します。非均一かつ非線形です。	ローカルトーンマップ
コントラスト限定ヒストグラム均等化	CLAHEは、画像全体ではなく、タイルと呼ばれる画像の小さな領域に対して処理を行います。各タイルのコントラストが強調され、出力領域のヒストグラムが「分布」パラメータで指定されたヒストグラムとほぼ一致するようにします。隣接するタイルは、双線形補間を使用して結合され、人為的に生じた境界が除去されます。特に均質な領域では、コントラストを制限することで、画像に存在する可能性のあるノイズの増幅を防ぐことができます。非均一および非線形	adapthisteq ：コントラスト限定適応型ヒストグラム均等化（CLAHE）
空間強調：シャープ化および／またはノイズ低減。 バイラテラルフィルタの出力は画像の内容に依存し、非常に非線形になる場合がある。
シャープネスUSM（アンシャープマスク）	アンシャープマスキング（USM）法を用いて、グレースケールまたはRGB入力画像をシャープにします。エッジ部分で最も効果が顕著に現れます。USMは、元の画像からガウスぼかし関数を減算することで機能します。しきい値が0より大きい場合、低コントラスト領域はシャープにならない可能性があります。詳細 はWikipediaを参照してください。 USMは明らかに線形ではなく、ガンマエンコードされた画像で最も効果を発揮するようです。画像情報メトリクスにいくつかの矛盾が生じました。線形化する必要のないカラースペース画像に直接作用するように設計されています。非線形（MATLABのドキュメントには記載されていないため、意外でした）。	imsharpen ：アンシャープマスキング（USM）
研ぐ 標準	シャープニングのページで説明されている 1D シャープニング方法の 2D バージョンを使用して、グレースケールまたは RGB 入力画像をシャープにします。エッジで最も顕著に現れます。元の画像から、半径Rの円形軌跡上に配置された振幅縮小された元の画像の複製を減算することで機能します。USM よりも計算負荷が低い (つまり、高速である) ため、商用カメラで広く使用されています。 線形性（ガンマ＝1）を維持するため、線形画像に最適です。SNRiやエッジSNRiなどの 画像情報指標に対するシャープ化の影響をテストする場合に推奨されます。 この操作を実行すると、2Dシャープニングカーネルがクリップボードにコピーされます。標準的なシャープニングはMATLAB関数ではないため、以下のボックスに詳細な説明を記載します。	カスタムImatest機能（L） USMシャープネスまたは標準シャープネスのどちらか一方を適用できます（両方を適用するのは意味がありません）。
双方向フィルタ1 imbilatfilt (MATLAB)	バイラテラルフィルタリングは、エッジ保存型平滑化のための非反復法として、 1998年にTomasiとManduchiによって提案された。一般消費者向けカメラのJPEG画像で広く用いられている。 MATLAB の imbilatfilt実装にはまだ慣れていない段階です。高品質のコンパクトデジタルカメラをSimatest の例として、パラメータ {0.0025, 0.7, 5} で示します。パラメータ: 平滑化の度合い 空間シグマ 近隣地域の規模。	imbilatfilt (MATLAB)
バイラテラル フィルター 2 bfilt2 (Lanman)	動作は良好だが、遅い。パラメータ： 半幅wは、ガウス型バイラテラルフィルタウィンドウの半分のサイズです。 シグマ（範囲）は空間領域の標準偏差です。 σ（ドメイン）は強度ドメインの標準偏差です	bfilter2 （MathWorksファイル交換より）：
非局所平均フィルタ	もう一つのエッジ保存型ノイズ除去フィルター。動作が遅い。まだ使いこなせていない。パラメータ： 平滑化の度合い（MABLABのデフォルト値＝推定画像ノイズの標準偏差（ σ ）） 検索ウィンドウサイズ（MATLABのデフォルト値＝21） 比較ウィンドウサイズ（MATLABのデフォルト値＝5）	imnlmfilt (MATLAB)
画像ファイル保存設定：画像がファイルに保存される際に適用されます。
ファイル保存精度	設定 画像を保存する - 入力ファイルの精度 最大8ビット深度 16ビット深度 16ビット、フル振幅、ただし生データを除く。RGBファイルはコンテナのフル振幅（例：ビット深度=16の場合は65535）を持ち、オフセットはありません。推奨。
ファイルオフセット（DN）を保存	保存ファイルに追加する黒レベルオフセット（ピクセル単位、デジタル数値）。
ファイルを保存する 飽和度（DN）	保存されたファイルの飽和レベル（最大ピクセルまたはDNレベル）。nビットコンテナ内のmビットデータを表すために使用されます（例： m = 12ビットデータがn = 16ビットファイルに格納されている場合、最大DNは65535で、4095）。

Simatestウィンドウの左側にある「計算」グループ（水色の枠）内の「計算の更新」ボタン、または他のボタンを使用して画像を処理します。以下に、このグループに含まれるコントロールの一覧を示します。

画像の処理が完了すると、出力画像と、その下の薄緑色の「解析と表示」領域が表示されます。画像のすぐ下（左側）にある「入力表示」または「処理済み表示」を押すと、これらの表示が切り替わります。2つの表示は非常に似ているため、違いが分かりやすいように拡大表示した、より興味深い並列表示を示します。

並べて表示

並べて表示すると、入力画像と処理済み画像を並べて、つまり隣り合わせに表示して比較できます。 「入力画像を表示」または「処理済み画像を表示」のすぐ下にある「並べて表示」チェックボックス（画像の下、左側）をクリックしてください。このチェックボックスを初めてオンにすると、2つの画像が全体表示されます。片方をトリミングすると、もう片方も同じようにトリミングされます。これにより、意味のある比較が可能になります。

以下は、36パッチのダイナミックレンジチャート画像に対するSimatestの表示例です（トリミングして並列表示にしたもの。左側が入力画像、右側が処理済み画像）。入力画像はテストチャートから直接出力したものです。処理済み画像には、ぼかし、ノイズ、シャープネス処理が施されています。

結果

処理された画像を使って、いくつかのことが可能です。

さまざまな処理設定を試すことができ、

• さまざまな画像表示、特にサイドバイサイドビューを使用して、視覚的な画像品質への影響をすぐに確認できます。
• 処理済みの画像を16/48ビットのuint16形式で以下のいずれかのプログラムに直接開き、定量的な性能測定値を取得します。
  • 断面、ヒストグラム、フーリエ変換など、さまざまな種類の解析に対応した画像統計機能。
  • チャートの種類に応じて、MTF (SFR) および関連分析用の再チャート。傾斜エッジとシーメンススターで使用可能な画像情報メトリックを取得するのに役立ち、マシンビジョン/人工知能システムの性能を予測するのに特に重要です。
  • 色調／トーン：グレースケールまたはカラーチャートのトーン、ノイズ、またはダイナミックレンジをインタラクティブに分析します。

「処理済み画像の保存」機能を使用すると、設定ウィンドウで選択した精度（一般的には16ビットまたは48ビットが推奨）で処理済み画像をファイルに保存し、 Imatestモジュールに読み込んで解析できます。クリップボードを使用してコピー＆ペーストすることもできますが、 imclipboard機能は8ビットのファイル深度しかサポートしていないため、この方法は推奨しません。

カラー/トーンとリチャートの主な結果は、 Simatestの例に示されています。

Bayerの生（モザイク処理済み、モザイク未処理）画像ファイルの保存

「ファイル」 → 「擬似RAW（デモザイキングなし）画像を保存」をクリックすると、合成ベイヤーRAW形式、またはその他の複数の形式で画像を保存できます。出力は標準画像ファイル形式または純粋なバイナリ形式になります。ダイアログボックスが開き、いくつかのオプションが表示されます。ベイヤー（再）モザイクとデモザイキングは、ISP処理ブロックとして利用できることに注意してください。

モザイク処理またはチャンネル選択：なし（通常のカラーファイル出力）、リモザイク（ベイヤー形式）、RCCC（赤-クリア-クリア-クリア）：R が明るい、RCCC（赤-クリア-クリア-クリア）：R = C/3、モノクロ（Y = 輝度）、モノクロ（平均：均等な重み）、赤、緑、青。リモザイク処理（ベイヤー RAW ファイルの作成）の場合は、リモザイク（ベイヤー形式）を選択します。

RmCnの赤色部分では、 4つのベイヤー構成のうち1つを選択できます。

ガンマ調整機能を使用すると、出力カーブのガンマ値を調整できます。変更しない場合は1のままにしてください。2（または2.2）を使用すると、通常のカラースペースのガンマ値からリニア（ガンマ＝1）に変更できます。

ファイル形式の保存では、標準の画像ファイル形式（PNG、JPG（90%品質）、TIF（大）、BMP、バイナリ8ビット、またはバイナリ16ビット）を選択できます。バイナリファイルは、 Generalized Read Rawで読み込むことができます。

グリーンチャンネル強調機能を使用すると、合成RAW画像を実際のRAW画像（通常は緑色が最も強い）に近づけることができます。ブルー/レッドのレベルは複数用意されています。

「保存」を選択すると、保存場所とファイル名を選択できるダイアログボックスが表示されます。デフォルトのファイル名は「root_file_name_png 」（選択した拡張子付き）です。

Simatestウィンドウ下部のコントロール

分析と表示（薄緑色）ボックスは、以下に別々に表示されます。コントロールは、列優先の順序で左から右に並んでいます。 「画像/処理済みを表示」ボタンと「並べて表示」ボタンについては、既に説明済みです。

ユーティリティとドロップダウンメニュー

ISPシミュレーターウィンドウ上部のドロップダウンメニューにあるユーティリティのいくつかは、ウィンドウ内のボタンと重複しています（意図的な冗長化）。

分析および表示コントロール（Simatestウィンドウ下部付近の薄緑色のボックス内）

表示は、画像の下にあるボタン、または「分析」ドロップダウンメニューで操作します。入力画像または処理済み画像の視覚的な表示、あるいは計算結果の表示（入力画像と処理済み画像を比較した分析結果）を選択できます。

Simatestウィンドウの下部

画像のすぐ下にある左側の「入力の表示」ボタンは、処理済み画像が選択されている場合は「入力の表示」、入力画像が選択されている場合は「処理済みの表示」を切り替えます。これにより、2つの画像を素早く視覚的に比較できます。ただし、並べて表示する（上記参照）方がさらに便利です。画像を切り替えてもズームレベルは維持されます。 「画像統計」 、 「リチャート」 、 「色調（対話型）」は、処理済み画像を対応する分析モジュールに直接送信します（ファイルの保存は不要です）。この領域にあるその他のボタンのほとんどは、計算結果を表示します。

SSIMは構造類似性指標を表示します。この指標については、 SSIMモジュールのページで詳しく説明されています。主な用途は、ファイル（例えば、品質の異なるJPEGファイル）の保存やデータ伝送による画像圧縮の目に見える影響（つまり、劣化）を測定することです。

MTF （変調伝達関数、空間周波数応答に相当）は、ランダムモジュールでの計算と同様の2次元フーリエ変換を使用して、処理済み画像と入力画像間の伝達関数を計算しますが、注意点が1つあります。有効なMTF結果が必要な場合は、シミュレーションにノイズを追加しないでください。2次元MTFの計算はノイズに非常に敏感だからです。

アンシャープマスキングを施したガウスフィルター画像のMTF

高周波特性の低下はガウスフィルターによって引き起こされます。

Simatest の設定でノイズとフィルタ (ガウス)を削除し、 [計算を更新]を押すと、アンシャープ マスク (USM) のみ (この場合は半径 = 1.5、量 = 2.5) の MTF を確認できます。アンシャープ マスキングは、シャープニングのページで説明されている標準のシャープニングとは異なるスペクトル応答を持ちます。応答は周期的ではなく、量 + 1 の漸近レベルまで上昇し、高いままになります。両方のシャープニング アルゴリズムをSimatestで比較できます。大きな灰色の縁取りのあるこぼれたコインのチャートのこの画像は、比較的ノイズが少なかったです。一部の画像ははるかにノイズが多かったです。

これは、 Simatestを使用して、処理ブロックが外観と測定値の両方に与える影響を調査する方法の良い例です。

USM用MTF（アンシャープマスク：半径＝1.5、量＝2.5）

光学文字認識（OCR）

Imatest 5.0では、 Tesseract-OCRの実装であるMatlab の OCR 関数を使用して OCR が追加されました。使用するには、

• 興味のあるテキストを含む画像を読んでください。
• 必要に応じて画像を処理します。処理内容には、検出にどのような影響を与えるかを確認するための画像劣化（ぼかし、ノイズなど）や、検出精度を向上させるための画像強調（アンシャープマスク、バイラテラルフィルタリングなど）が含まれます。
• 画像をテキスト領域に合わせて切り抜きます（重要な領域にテキスト以外の特徴が含まれている場合は強く推奨します）。
• OCRをクリックしてください。

これによりOCRウィンドウが開き、画像の切り抜き部分に対してテキスト認識処理が実行されます。右側のサンプル画像（ノイズ（ガウス）= 0.002、ガウスフィルター2 = 0.7でわずかに劣化させたもの）の結果を以下に示します。この画像をダウンロードして、さまざまな劣化や強化がOCRのパフォーマンスにどのように影響するかを試してみてください。

注意が必要です。MATLABのOCR性能はそれほど優れていません。一見読みやすいテキストでも、特に12ポイント以下のフォントサイズではうまく認識されません。性能は、 gImageReader （ Tesseract-ocrのGUIフロントエンド）やTopOCRなど、無料または低価格のOCRプログラムと同程度です。

左側のサンプル画像は、標準、太字、および負の太字のCalibriフォントで、20～7ポイントの異なるサイズの文字セット（QWERTYUIOPASDFGHJKLZXCVBNM1234567890）で構成されています。これらは自動車のナンバープレートに使用される文字です。このファイル（ここ）はMicrosoft Wordで作成されました。画像の残りの部分は、ウェッジと2つの高コントラストの正方形を含む、拡張eSFR ISOチャートの一部です。これらは、MTF測定値とOCR性能を相関させるために使用できます。

OCR設定

文字サブセットの結果は、有効な出力文字を制限する文字サブセットを入力してから[OCR を計算]を押すことで改善できます (文字サブセットが空白の場合はすべての文字が許可されます)。サンプル画像の場合、サブセットはラテン語の大文字と数字 (自動車のナンバープレートなどでよく見られる文字) で構成されています。ただし、改善効果はわずかです。

QWERTYUIOPASDFGHJKLZXCVBNM1234567890

標準的なOCRはナンバープレートの認識にはあまり適していません。Matlabファイル交換サイトには、ナンバープレート検出ルーチンがいくつか公開されています。それらがうまく機能し、ライセンスが許せば、1つか2つ追加するかもしれません。

表示されているテキストがデフォルトです。 「信頼度と単語」を選択すると、単語の信頼度と個々の単語が表示されます。以下に、表示例をいくつか示します。

0.8545 QWERTYUIOPASDFGHJKLZXCVBNM1234567890
0.8361 QWERTYUIOPASDFGHJKLZXCVBNM123456789O
0.9018 18
0.7842 QWERTVU|OPASDF6HJKLZX(VBNM1234567890
0.8339 16
0.7468 QWEKTYUIOPASDFGHJKLZXCVBNM1234567B90
0.8254 14
0.7252 QWERYYUIOPASDFGI-1JKLZX(\/ENM1Z34567E9(!
0.7784 12
0.5777 QWERTYUWDDASDFGHJI(LZXCVBNM113A567E9u)
0.6549 11
0.6276 uwEuHu\onAsur:.r<n<.zxn'aNM:23-4ss7s9u
0.7658メートル

クリップボードにコピーする現在の表示内容をクリップボードにコピーして、テキストエディタやその他のアプリケーションで使用できます。

結果を保存すると、現在の表示内容が保存されます。

設定ドロップダウンメニューで、可変幅フォントまたは固定幅フォントを選択できます。

顔と人物の検出

顔検出と人物検出は、分析ドロップダウンメニューから呼び出すことができます。どちらも現在、Matlabのデフォルト設定を使用しています。（将来的にはオプションウィンドウを追加する可能性があります。）参照

CAMShiftとdetectPeopleACF を使用した顔検出と追跡

顔検出は人物検出よりも多少優れています。以下は、 http://epaperpress.com/portfolio/columbia.htmlから無断で拝借した画像を使用した例です。左側に、Imatest の濡れた著者が写っています。注釈を削除するには、[計算を更新] をクリックしてください (画像をリセットします)。

リソース — これらのほとんどは、かなりのプログラミング作業を必要とします。

Ansys SPEOSシミュレータはZemaxの出力を使用します。

シノプシス ImSym

スタンフォード大学のISETは、高度なプログラミングスキルを必要とするオープンソースの画像処理関数です。

Infinite ISP ドキュメント– 10xEngineers提供

OpenISP