手ぶれ補正／シャープネス比較

はじめに

Imatest Image Stabilization/Sharpness CompareモジュールはSFRplusのポストプロセッサであり、

  1. 揺るぎない。
  2. 手ブレ補正機能をオフにした状態で撮影。 （最近のカメラの中には、手ブレ補正をオフにする機能がないものもあります。このような場合、手ブレ補正の効果を測定する方法はいくつかあります。1つは、振動角度が既知の非常に精密な振動装置を使用することです。これは高価です。もう1つは、ピクセル構成とレンズ焦点距離が似ているものの、光学式手ブレ補正（OIS）のないカメラを使用することです。）
  3. 手ぶれ補正機能で撮影されています。

標準SFRplusチャート
 
SFRplus_for_OIS_400W
スペースが広い特別なSFRplusチャート
中央の四角形付近で激しく揺れる

手ぶれ補正を測定するための画像の取得と選択については、以下で簡単に説明します。要約：手ぶれのない画像の場合は1枚の画像で十分ですが、手ぶれ補正ありとなしの手ぶれ画像については、10枚以上の画像の中から最も画質の悪い（最もシャープでない）画像が必要です。

画像安定化/シャープネス比較への入力は、 SFRplusによって作成された2つまたは3つのJSONファイルのセットです。

ポストプロセッサの比較
それぞれ異なる領域や画像の鮮明度を比較できます
MTF比較SFR、SFRplus、およびeSFR ISOへの後処理。入力は、各領域ごとの2つのCSV結果ファイルです。任意の2つの画像（または同じ画像）の任意の領域から個々のエッジを比較できます。両方の画像のMTFと伝達関数（A/B）または（B/A）を表示します。
OIS/画像比較

画像安定化/
シャープネス比較		SFRplus専用のポストプロセッサ。入力は2つまたは3つのJSON結果ファイルです。SFRplus設定ウィンドウで画像安定化が有効になっている必要があります。領域選択はすべてのファイルで同じである必要がありますが、ファイルのサイズは異なっていても構いません。ほぼ同じ位置にある領域、または画像全体のシャープネスを比較できます。2つの画像ファイルのシャープネスを比較したり、3つの画像ファイルを使用して（光学式）画像安定化の効果を計算したりできます。
バッチビューSFR、SFRplus、およびeSFR ISO （主にSFRplus）用のポストプロセッサで、バッチ処理で実行された複数のファイルのサマリー結果を比較し、ルートファイル_sfrbatch.csvという形式のファイル名で保存できます。中央、中間、四隅、およびさまざまな絞り値における加重平均のシャープネスを測定するのに最も役立ちますが、非常に汎用性が高く、あらゆる画像シーケンスを分析できます。

簡潔にするため、このページでは以降、このモジュールを「画像安定化」と呼ぶことにします。

手術

  • 画像を取得します。照明は均一でグレアのない状態にしてください（照明に関する推奨事項を参照）。照明レベルはシャッタースピードに影響するため重要です（カメラ付き携帯電話の場合）。入射照度とシャッタースピードを記録してください。カメラは、少なくともピッチとヨーの動きが可能な振とう台に取り付けてください。ロールの動きがあると望ましいですが、並進（x、y、z）の動きはそれほど大きな効果はありません。光学式手ブレ補正（OIS）の有無にかかわらず、少なくとも10枚（できれば20枚以上）の手ブレ画像を撮影してください。
  • OIS（光学式手ぶれ補正）ありとなしの場合で、手ぶれが最もひどい（最も鮮明でない）画像を選択してください。

複数の画像の中から最も鮮明でない（または最も鮮明な）画像を見つける最も速い方法は、 「最も鮮明なファイルを探す」を実行することです。このツールを使うと、画像ファイルのバッチを読み込み、関心領域（ROI）を選択して、ファイルを非常に迅速にランク付けできます。「最も鮮明なファイルを探す」で使用される数値は標準的なものではないため、類似した画像のバッチを比較する目的以外には使用しないでください。

あるいは、複数の画像をSFRplusに読み込み、 「検証」選択ウィンドウで「信号平均化のためにファイルを結合」を選択することで、画像を平均化することもできます。

  • SFRplusを2枚の画像（単純なシャープネス比較用）または3枚の画像（画像安定化用）で実行します。画像は同じ領域設定にする必要があります。右側に表示されている領域（ROI）の選択は、画像安定化に適した選択肢です。垂直方向と水平方向のエッジがそれぞれ5つずつあり（中央部と隅部の揺れの影響を示すとともに、ピッチ、ヨー、ロールの各成分を区別するのに十分です）、適切な領域数は5～13個です（それ以上は過剰です）。カスタムのエッジIDファイルを使用することもできます。
OIS_sfrplus_region_selection SFRplusの領域選択

領域幅の選択（ 「切り抜き境界線」のすぐ下）に注意してください。「より広い（または最も広い）」 ：OISのスムーズ設定は、手ブレのある画像におすすめです。手ブレのある画像は、標準的なガウス型ぼかしとは全く異なるぼかし特性を持ちます（振動が正弦波状であるため、ぼかしが2倍になります）。

SFRplusの「詳細設定」ウィンドウ（右側に表示）で、「手ぶれ補正」チェックボックスがオンになっていることを確認してください。これにより、手ぶれ補正に必要な結果がJSONサマリーファイルに保存されます。

Rescharts （またはSFRplus Setup ）から実行している場合は、（ Reschartsウィンドウの下部にある）「データの保存」をクリックしてください。 「SFRplusの結果を保存しますか？」ウィンドウで、 JSONサマリーファイルがチェックされていることを確認してください。JSONサマリーファイルの場所をメモしておいてください。これらは画像安定化への入力として使用されます。

  • ターゲットから「画像安定化」を選択して、画像安定化モジュールを実行します。

下記のようなウィンドウが表示されます。

手ぶれ補正ウィンドウを開く

初めて手ぶれ補正を実行すると、下部の 3 つのウィンドウ ( 1. 手ぶれ補正なし、 2. 手ぶれ補正なし、 3. 手ぶれ補正あり)には何も表示されません。2 回以上実行すると、これらのウィンドウには最新のファイル名が表示されます。このファイル名は、 SFRplusからのJSON出力ファイルである必要があります。

  • SFRplusから保存された出力ファイルであるJSONファイルの名前を、該当する欄に入力してください。
  • 必要に応じて（新しいファイル名を入力しなかった場合）、右側の「計算」ボタンを押して結果を表示してください。

結果は以下のとおりです。

画像安定化の指標

画像安定化の主な目的は、画像安定化によって得られるシャープネスの向上度を算出することです。この計算を行う際には、いくつかの点を考慮する必要があります。

  • 手ブレ補正の効果のみを比較できるように、手ブレ補正を行っていない画像のブレは計算から除外する必要があります。
  • 手ぶれ補正なしとありで撮影した手ぶれ画像は、適切に比較できるよう、手ぶれの程度を等しく反映している必要があります。そのためには、前述のように、多数の画像の中から最も状態の悪い画像を選択する必要があります。ここでは、手ぶれ補正装置の選択や、適切な統計サンプルを得るために必要な画像数など、詳細な説明は省略します。

画像安定化の主な結果は、手ぶれなし画像、OISなしで手ぶれした画像、OISありで手ぶれした画像の平均エッジとMTFです。その他のすべての指標は、これらの数値から導き出されます。結果を理解するために必要な主要な定義については、以下の用語集を参照してください。

定義

画像安定化の指標を定義するために使用される用語集
学期意味
画像
NoS手ブレのない画像から作成
シェイク手ぶれ補正なしの手ぶれ画像から抽出
OIS光学式手ぶれ補正（OIS）で補正された手ぶれ補正画像
主要結果
平均
角		平均エッジ拡散関数（MTF）は、ISO-12233規格に基づく超解像/ビニングアルゴリズムを用いて画像のエッジから導出されます。MTFは、平均エッジの微分値のフーリエ変換の絶対値（モジュラス）です。距離の関数です。
MTF変調伝達関数＝空間周波数応答。空間周波数の関数。
派生エッジメトリクス
（MTFまたは平均エッジから算出された単一の数値）
MTF50 MTFが低周波数値の50%まで低下する空間周波数。いくつかの単位が利用可能です。サイクル/ピクセルが最も基本ですが、他の単位も非常に役立ちます。通常、MTF50(NoS) > MTF50(OIS) > MTF50(Shake)の順になります。ノイズなどの影響でこの順序が異なる場合があるため、特別な注意が必要です。
R1090平均的なエッジの10～90%上昇距離。
R2080平均的なエッジの立ち上がり距離は20～80%です。R1090よりもエッジの傾斜に対する耐性が若干高い可能性があります。
L MTF
 L_MTF		 MTF50に対応する長さ（距離）。これは、良好なエッジの場合、通常R1090に近い値になります。L MTF （ピクセル）= 1/(2*MTF50（C/P）)。

L MTF (L_MTF) は、説明が必要な、有用ではあるものの馴染みのない指標です。基本的には、MTF から導出される長さ (つまり距離) であり、R1090 とよく相関します。MTF はフーリエ変換の絶対値 (モジュラス) であり、位相情報が除去されていることを思い出してください。揺れのある画像では、エッジに大きな不規則性 (非対称性、傾斜など) が存在する可能性があり、これが R1090 または R2080 を歪ませ、ぼけの指標として信頼できないものにする可能性があります。エッジの位相の一部であるこれらの不規則性は、MTF には限定的な影響しか与えません。下の画像は、不規則なエッジを示しています。

MTF の単位がサイクルである場合 (例: サイクル/ピクセル)、L MTF = 1/(2*MTF50) となります。(MTF の単位が線幅である場合 (例: LW/PH)、L MTF = 1/MTF50 となります。) 下の図では、L MTF = 1/(2*0.0399) = 12.5 ピクセルとなり、これは R1090 に近い値です。ただし、常にそうとは限りません。

かなり挙動の悪いエッジにおける平均エッジプロファイルとMTF。
L MTF = 1/(2*MTF50) = 1/(2*0.0399) = 12.5ピクセルとなり、R1090に近い値となる。

要約—画像安定化効果の計算には、平均エッジから直接導出される指標（R1090やR1080など）ではなく、L MTFを使用する方が望ましいですが、すべての計算が利用可能です。

揺らした縁の長さと揺らしていない縁の長さ

NoS、Shake、OIS測定に対応するエッジ長（R1090、R2080、L_MTF）の式は十分に単純ですが、

OISのシャープネスゲインを正しく測定するには、手ブレのない長さを取り除く必要があります。
手ぶれと光学式手ぶれ補正によるエッジ長測定から得られたデータです。

これを実現するための方程式は3つあります。

方法（注：meas は OIS の有無にかかわらず振とう測定 (Shake、OIS) を指します）。
設計-
国家		説明
MTF部門
（おそらく最も正確）		 div MTF(NoS除去) = MTF(測定値)/MTF(NoS)
L(NoS除去) = 1/(2*MTF(NoS除去))
単純差
（概算値であり、精度は高くありません。将来的には計算から除外される可能性があります。）		 S1 L(NoS除去) = L(測定) - L(NoS)
2つの正方形の長さの差の平方根
（近似値であり、単純な引き算よりも正確です。MTFが利用できない場合に可能な最善の方法です。）		 S2 L(NoS除去) = sqrt(L(測定値) 2 -L(NoS) 2 )

結果区分

L（下記のL_ShakeおよびL_OIS）は、エッジ長測定値（L_MTF、R1090、またはR2080）のいずれかとします。

接頭辞辺の長さ
測定		NoS
除去		獲得単位
OIS_ゲイン_ L_MTF_ div_（L_MTFのみ）デルタ = L_Shake - L_OIS (通常は >0)
R1090_ S1_割合 = L_OIS / L_Shake (通常は1未満)
R2080_ S2_パーセンテージ = 100%(1-分数)
dB = -20 log 10 (分数)

例えば、除算法によって除去された手ぶれ補正L_MTFを使用したOISゲインをdBで表すと次のようになる。

OIS_gain_L_MTF_div_dB（これは推奨される指標であり、以下に説明します。）

推奨計算

推奨される計算方法は、L_MTFからMTF除算（div）によって手ブレを除去した値を使用します。これは差分法（(S1)および(S2)）よりも数学的に抽象的ですが、分かりやすく正確です（近似ではありません）。

MTF(Shake-only) = MTF(Shake)/MTF(NoS) は、手ブレ補正なしの手ブレ画像から手ブレ補正なしの画像のMTFを差し引いた値です。

MTF(OIS-only) = MTF(OIS)/MTF(NoS) は、手ブレ補正ありの手ブレ画像から手ブレ補正なしのぼやけを取り除いた、手ブレ補正ありの画像のMTF値に相当します。

これら 2 つの数値から導出される MTF50 は OIS ゲインの計算に使用できますが、MTF50 の期待される順序 (MTF50(NoS) > MTF50(OIS) > MTF50(Shake)) が変更される場合は注意が必要です。

MTF50(Shake-only)は、MTF50(Shake) < MTF50(NoS)の場合にのみ、MTF(Shake-only)から導出されます。
それ以外の場合は、MTF50(シェイクのみ) = MTF50(シェイクなし)となります。
L MTF (シェイクのみ) = 1/(2*MTF50(シェイクのみ))。

MTF50(OIS-only)は、MTF50(OIS) < MTF50(NoS)の場合にのみ、MTF(OIS-only)から導出されます。
それ以外の場合は、MTF50(OISのみ) = MTF50(NoS)となります。
L MTF (OISのみ) = 1/(2*MTF50(OISのみ))。

OISとシェイク（OISなし）に対するL_MTFを用いたOISゲイン方程式は以下のとおりです。

OIS_gain_L_MTF_div_Delta = L MTF (Shakeのみ) - L MTF (OISのみ) = MTF50(Shakeのみ)/MTF50(OISのみ) (分数、一般的に > 1)

OIS_gain_L_MTF_div_frac = L MTF (OISのみ) / L MTF (手ぶれ補正のみ) = MTF50(手ぶれ補正のみ) / MTF50(OISのみ) (分数、一般的に1より大きい)

OIS_gain_L_MTF_div_pct = 100%(1-OIS_gain_L_MTF_frac) (パーセンテージ、通常は0より大きい)

OIS_gain_L_MTF_div_dB = -20 log10(OIS_gain_frac) (デシベル、一般的に>0) (下記参照)

結果

3種類のグラフィックディスプレイが利用可能です。
最初の表示（下記）は、単一領域ごとの詳細な結果です。この分析では、任意の領域（18領域）を選択できます。

画像安定化ウィンドウには、単一領域の結果が表示されています。

手ブレ補正なしの画像、手ブレ補正なしの画像、手ブレ補正ありの画像のMTFが、手ブレ補正なし/手ブレ補正ありの伝達関数とともに表示されます。表には、このエッジにおけるすべてのOISゲイン結果（L_MTF、R1090、R1080から導出、すべての手ブレ補正なしのぼけ除去アルゴリズム、デルタ、分数、パーセンテージ、dB）が含まれています。

2番目の表示（下図）には、選択したメトリックの複数領域の結果が表示されます。選択肢は下図に示されています。マルチROIおよび3Dプロットテーブルの平均OISゲインは、垂直方向のみ、水平方向のみ、または両方（すべてのエッジ）を表示するように設定できます。


OIS_gain_L_MTF_div_dB（推奨結果）のマルチROIプロット。メトリックドロップダウンメニューが表示されます。
（現在、マルチROIおよび3Dプロットで利用できる指標は限られています。）

3つ目の表示は、選択した指標の3Dグラフです。


OIS_gain_L_MTF_div_dBの3Dプロット（推奨結果）

「データの保存」ボタンを押すと、 CSV出力ファイルが生成されます。このCSVファイルには、入力ファイルの概要情報と、垂直エッジ、水平エッジ、または垂直・水平エッジの集計結果が含まれています。以下に、CSVファイルからの抜粋を示します。

入力ファイル1
日付実行2013年1月24日 14:49:02
画像パスC:ImatestDataSFRplusMiscImage_Stabilizationnovibes.bmp
タイトルnovibes.bmp
高さ（ピクセル） 1200幅（ピクセル） 1600地域18

（これは2番目のファイルと（含まれている場合は）3番目のファイルについても繰り返されます。）

垂直エッジの平均
シェイクのみOISのみデルタ分数％ dBゲイン
1. L_MTF_div 14.4877 9.8802 4.6075 0.6812 31.8824 3.3568
2. L_MTF_S1 11.7326 7.4965 4.2361 0.6333 36.6706 4.0072
3. L_MTF_S2 14.8671 10.4262 4.4409 0.7001 29.9929 3.1116
4. R1090_S1 12.4647 7.7476 4.7171 0.6213 37.8658 4.14
5. R1090_S2 15.6516 10.7458 4.9058 0.6875 31.2493 3.2607
6. R2080_S1 8.074 5.1292 2.9448 0.6354 36.4551 3.9865
7. R2080_S2 10.1915 7.1259 3.0657 0.6998 30.0222 3.1304

（これは水平エッジとH&Vエッジの両方について繰り返されます。）

注：この付録は画像安定化の手順の不可欠な部分ではありませんが、ImatestアルゴリズムがCIPA DC-X011アルゴリズムとどのように異なるのか、その理由を知りたい方にとって興味深い内容かもしれません。

付録：CIPA DC-X011-2012規格に関する注記

CIPA （日本カメラ・映像機器工業会）は、デジタルカメラの手ぶれ補正性能の測定及び記述方法（光学方式）に関する規格案「CIPA DC-X011-2012」を公開しており、手ぶれ補正機能のユーザーにとって興味深い内容かもしれません。しかしながら、 Imatestの手ぶれ補正モジュールは、いくつかの重大な欠点があるため、CIPA規格に厳密には準拠していません。

  • ImatestはSFRplusテストチャート（斜めの縁のグリッド）を使用する一方、CIPAは高コントラスト（白黒）の市松模様で、黒い正方形の中央にフルーツボウルの静物画が描かれています。CIPAチャートの縁は垂直方向と水平方向にまっすぐで、最小コントラストは20:1です。SFRplusチャートは、説明ii §4-2-1を満たす20:1のコントラストで印刷することも可能ですが、その場合、画像がクリッピングまたは飽和する傾向があり、測定精度が低下します。SFRplusチャートを10:1を超えるコントラストで印刷することはお勧めしません。（現在、次期改訂版ISO-12233規格に準拠した4:1のコントラストのSFRplusチャートを推奨しています。）
  • DC-X011 では、数十年にわたりシャープネス測定の業界標準となっているMTFについては一切触れられていません。代わりに、信頼性の低い指標である 10-90% ライズ距離を使用しています。これらの距離に適用される計算 (手ブレ補正など) は近似値であり、一貫性がありません (単純な加算または減算の場合もあれば、二乗和の平方根の場合もあります)。垂直および水平のエッジはサンプリング位相誤差を引き起こす可能性があります (これが ISO-12233 規格で傾斜エッジが使用される理由です。シャープネスとは何か、どのように測定されるかを参照してください)。CIPA 規格では、過剰な数の画像取得を推奨しています。たとえば、カメラの手ブレなしで 10 枚の画像を取得することを推奨していますが (§4-4-1)、それらをどうするか (最良のケース? 最悪のケース? 平均?) については述べていません。適切に設計された傾斜エッジターゲットには 1 枚で十分です。

以下は、CIPA規格を読んでいる際に私が取ったメモです。規格内で使用されている難解な用語の用語集も含まれています。

CIPA文書のセクション3-3の用語の中には、英語話者にとって分かりにくいものがあり、文書の残りの部分を理解する上で重要なものもあるため、以下の用語集を作成しました。ぼかしには距離の単位があり、ピクセルまたはミクロンです。

CIPA DC-X011 用語集
学期§意味
（O）IS （光学式）手ぶれ補正
モーションブラー量3-3-5手ブレあり、光学式手ブレ補正なし。
ボケ3-3-6ぼやけ（一般的な現象）。ピントのずれやカメラの手ブレが原因である可能性があります。
ボケオフセット量3-3-10ブレは手ブレなしで測定されます。§4-2-8は、（線形化された画像の場合）10～90%の上昇距離が主要なブレまたはボケの指標であることを示唆しているようです。
理論上のモーションブラー量2012年3月3日手ぶれ補正をオフにした状態で測定した。手ぶれ以外の要因（例えば、手ぶれ以外の要因によるぼやけ）は含まれていないようだが、詳細は不明。
推定総合ボケ量2013年3月3日理論的に推定されるぼかし量 = sqrt((ボケオフセット量) 2 + (理論的なモーションブラー量) 2 )
測定された総合的なボケ量2014年3月3日手ぶれ補正ONの状態で測定した全体のぼやけ具合です。
基準モーションブラー量2015年3月3日手ぶれ補正性能を計算するために使用される値。推定総合ボケ量（IS OFF）－ボケオフセット量に等しい。理論上のモーションブラー量に似ているように聞こえる。混乱する場合は、CIPA DC-X011規格の§3-3-15を読んでください（混乱が解消される可能性は低い）。
測定されたモーションブラー量2016年3月3日手ぶれ補正ONで測定した総ブレ量 - 手ぶれ補正なしで測定したブレ量

その他のメモ

「振動装置」については、ヨーとピッチの波形成分を持つべきであるということ以外、ほとんど何も語られていない。（ロールはどこにある？「ロックンロール」の「ロール」と同じ場所だろうか？）

§4-2-7には「撮影距離は35mm換算焦点距離の約20倍とする」と記載されています。なぜ単に「フィールド高さは約19インチ（48cm）とする」と記載できないのでしょうか？高さ24インチ（60cm）のImatest SFRplusチャートは理想に近い値です。

§4-2-8は、（線形化された画像の場合）10～90%の上昇距離が重要な距離指標であることを示唆している。

§4-4-1：ボケオフセット量＝手ブレのないぼかし。10枚以上の撮影を推奨。6）「必要かつ十分なシャッタースピードに達するまで」とはどういう意味でしょうか？（おそらく任意の上限値でしょう。）

§4-4-2: 総合ボケ量の測定 = 手ブレ測定、IS ON。10 の場合、各シャッタースピードで手ブレ ON で 200 枚以上の画像を撮影する必要があります。200 枚以上の画像の中から選択する方法が不明です。

§4-4-3: 総合ボケ量の測定 = 手ブレによるぼかしの測定、IS ON。4-4-2 と非常によく似ています。違いを強調すれば、はるかに分かりやすくなるでしょう。

§4-5-1: b) IS機能をオフにできないカメラでIS性能を測定するにはどうすればよいでしょうか？振動装置の振動角度は既知であるようです。（この角度はカメラとレンズの重量によって影響を受ける可能性があります。）非常に高品質の振動装置が必要になります。この方法はImatestではすぐには実装されません。

1) ボケオフセット量 = ブレのないぼかし。sqrt(Yaw 2 + Pitch 2 ) とは、垂直方向と水平方向のエッジのことでしょうか？全く分かりません。

5：IS性能を「ストップ」（F値またはEV値）で測定するには、複数のシャッタースピードで測定を行う必要があります。カメラ付き携帯電話（調整機能が非常に限られている）の場合、これには異なる光量での測定が必要になります。

6.8: 著者はMTFについて聞いたことがあるのでしょうか？このセクション（混乱の輪について多くの混乱が見られるセクション）を読んだ後、文書全体をスキャンしてMTFを探しました。何も見つかりませんでした。ショックです。信じられません！