局所倍率

導入

局所倍率は、画像における幾何学的歪みを評価するために使用できる直感的な指標です。これは、対象物の倍率（半径方向と接線方向の両方）を画像フィールドの高さに対応付けたものです。

Imatestバージョン26.1では、Wangら[1]の方法に基づいて局所倍率と関連する指標の計算が追加されました。

Imatestは、構成可能な設定、自動処理、および拡張された出力を提供することで、論文で紹介された手法を拡張し、さまざまなカメラタイプとテスト対象に効果的に適用できるようにします。論文で説明されているように、局所的な倍率データから、放射状/光学的歪み率、TV歪み指標、視野、レンズ投影方式/マッピング機能の分類など、追加の指標を導出できます。Imatestは、これらの追加計算を分析の一部として実行できます。

局所倍率の計算は現在、チェッカーボード解析で利用可能であり、対象の設定で明示的に有効にする必要があります。

主な前提条件

以下に、測定の根拠となる主な前提条件をいくつか示します。

• 幾何学的歪みは放射状に対称である。
• 歪みの中心は数値画像の中心と一致しますが、Imatestでは代わりに検出された最も中心に近い点を原点として使用するオプションも提供しています。
• 放射状マッピング関数は、多項式によって適切にモデル化できる。
• ターゲットグリッド面は、テスト対象カメラの光軸に対して垂直に配置され、グリッド点の1つは画像の中心に位置し、中央のグリッド行と列は画像フレームと平行になります。セットアップとキャプチャの手順については、下記を参照してください。

出力例

局所拡大表示で利用可能な出力および視覚化機能は以下のとおりです。

• 検出された点、放射方向、および最大半径：検出された点、放射方向、および最大半径（円）が重ねて表示された画像を示すグラフ。選択された放射方向に沿った点が計算に使用されます。
• 画像半径と物体半径の関係（順方向近似） ：画像半径と物体半径の関係を示すグラフ。各半径方向からのサンプルと、正規化領域における物体半径の関数としての画像半径の多項式近似を示します。多項式近似を計算する前に、各方向からのサンプルは共通のグリッド間隔で平均化されます。
• オブジェクト半径と画像半径の関係（逆近似） ：オブジェクト半径と画像半径の関係を示すグラフ。各半径方向からのサンプルと、正規化領域における画像半径の関数としてのオブジェクト半径の多項式近似値を示します。
• 局所倍率対画像半径：局所倍率（半径方向および接線方向）と画像半径の関係を示すグラフ。これは（順方向）多項式近似から算出されます。
• 放射状歪み率対画像半径：放射状歪み率（光学歪み率）と画像半径の関係を示すグラフ。これは局所的な倍率プロファイルから算出されます。
• 局所的な半径方向および接線方向の拡大マップ：検出されたグリッドを、各点について評価された局所的な拡大率（半径方向または接線方向）とともにカラーマップとして重ねて表示する図。
• 歪み補正画像：歪み補正後の（歪みのない）画像を示すグラフ。元の画像は（順方向）多項式近似を用いて歪みが補正され、線形補間によって元の画像サイズにリサンプリングされます。
• 投影分類：画像半径と視野角の関係を示すグラフ。標準的な投影マッピング関数と推定視野角が含まれます。

注：プロット軸の単位は設定可能です。局所拡大率の軸は、絶対値（画像スケールファクター）または中心正規化のいずれかで表現できます。画像半径の軸は、ピクセル、ミリメートル（イメージセンサー上）、または正規化（最大画像半径）のいずれかの単位で表現できます。オブジェクト半径の軸は、グリッドステップ、ミリメートル（オブジェクト上）、または正規化（オブジェクト上の最大画像半径）のいずれかの単位で表現できます。

結果とデータは、Imatestの標準出力ファイルであるCSVおよびJSONファイルにも含まれています。

計算

注：局所的な拡大率の計算は、Imatest における他の既存の幾何学的歪み計算とは別個のものです。Imatest のチェッカーボード解析では、局所的な拡大率に関連するモデルとは別の放射状歪みモデルが生成され、それぞれ別の設定や計算などに依存します。

局所倍率の測定に使用される計算方法および関連する指標の詳細については、参考文献を参照してください。Imatestは、若干の変更を除き、当該文献に記載されている方法に従っています。

本論文で述べられている方法からの拡張および逸脱については、以下に記載する。

拡張機能

• （拡張機能）グリッドサンプルの自動検出（チェッカーボード検出から）。
• （拡張機能）設定可能な多方向サンプリングにより、基本方向（北、東、南、西）からのサンプルに加えて、対角線方向（北東、南東、南西、北西）に沿ったグリッドサンプルの使用が可能になります。
  • 注: 対角放射方向では、追加のグリッドステップ間隔でサンプルが導入されます (対角ステップは約 1.41、水平または垂直ステップは 1)。これにより、多項式近似のための追加のデータポイントが提供されます。
• （拡張機能）設定可能な歪み原点（歪みの中心）：数値画像中心（用紙から）または最も中心の点、つまり検出されたグリッド中心（拡張機能）。
  • 注：グリッドの中心が数値画像の中心からずれている場合、最も中心の点を原点として使用すると、多項式近似を不安定にする可能性のある系統的バイアスを軽減できるため、有効です。
• （拡張機能）設定可能な歪み最大半径：画像の辺（用紙からの左/右または上/下）、最外側の点（拡張機能）、画像の角（拡張機能）、またはカスタムピクセル半径（拡張機能）。
• （拡張機能）多項式の適合次数検索の基準として、（標準の最小R²の代わりに）最小調整済みR²を使用できるようにします（ 「調整済みR²を使用」トグル設定経由）。
  • 注：調整済みR²は、多項式の次数/次数が高いほどペナルティを適用し、過学習を軽減することができます。
• （拡張機能）論文には掲載されていない追加のグラフや視覚化を生成します。
  • （拡張機能）検出された点、半径、および最大半径：上記の例のプロットを参照してください。
  • （拡張機能）局所的な放射状および接線方向の拡大マップ：上記の例のプロットを参照してください。
• （拡張機能）関連データ／結果を追加の単位で提供します。
  • （拡張機能）画像半径のプロット軸の単位は、正規化（紙面から）に加えて、ピクセル単位またはミリメートル単位（イメージセンサー上）で表現することもできます。
  • （拡張機能）オブジェクトの半径のプロット軸の単位は、正規化された単位（紙面から）に加えて、グリッドステップまたはミリメートル（オブジェクト上）の単位でも表現できます。

偏差

• （偏差）数値画像中心は、IEEE Std 2020 [ 2 ] タイプ IV 座標系を使用した画像フレームの正確な幾何学的中心として定義されます。たとえば、100x100 画像の場合は [50.5, 50.5] となります。この区別は主に意味論的なものです。
• （偏差）正規化領域における物体半径と画像半径をマッピングする順方向および逆方向の多項式近似において、切片がゼロとなるように制約が課されます。これにより、歪みモデルが原点を通過するように制約され、物理的な一貫性が確保されます（つまり、シーン内の半径がゼロであれば、画像内の半径もゼロになります）。
  • 注：選択した最大画像半径におけるオブジェクト半径を推定するために使用される初期多項式近似（ピクセル単位の画像半径の関数としての、グリッドステップ単位のオブジェクト半径）では、切片がゼロになるという制約は適用されません。この予備的なステップを制約なしにすることで、最大半径における近似精度を優先することができます。

説明書

局所倍率の測定方法は以下のとおりです。

セットアップとキャプチャ

1. 対象のグリッドピッチ（例：チェッカーの高さ）を測定します。
2. カメラを対象物に合わせます。
   1. 目標とするグリッド平面は、カメラの光軸に垂直であり、グリッド点の1つ（例えば、チェッカーボードの鞍点）が数値画像の中心と一致するように配置する必要があります。
   2. ターゲットグリッドの中央の行と列は、画像フレームの端と平行でなければならない。
   3. ターゲットグリッドは画像フレーム全体を埋め尽くす必要があります。
   4. ターゲットグリッドには、画像端または所望の最大半径付近に、少なくとも1つの検出可能なグリッド点（例えば、チェッカーボードの鞍点）が存在する必要がある。
3. （オプション - 視野と投影分類のため）カメラの入射瞳とターゲットの中心間の距離を測定します。
   1. 注：カメラの入射瞳の位置は通常、カメラレンズ内のどこかにあります。
4. 対象の画像を撮影する。
   1. 被写体の画像は、ピントが合っていて（鮮明に）露出も適切であるべきです。
   2. 画像の全体的な品質は、反射、ノイズ、その他の画像アーティファクトによってグリッド点（例えば、チェッカーボードサドル点）の検出／位置特定精度が低下しない程度に十分である必要があります。
   3. （オプション）複数の画像を撮影し、Imatestを使用して平均化することで、ノイズの様々な影響を軽減できる可能性があります。

以下のサンプル画像は、参照論文でテストされたカメラと同じオリンパスEXERA IIで撮影したものです。論文によると、イメージセンサーの画素ピッチは2.8ミクロンです。チェッカーの高さは4ミリメートル、ターゲットまでの距離は約25ミリメートルと想定されています。カメラとターゲットは、完全に一致しているわけではありませんが、ほぼ正確に位置合わせされています。これは、最も中心のグリッド点が数値画像の中心からわずかにずれているためです。

イマテスト分析

1. メインウィンドウで、 [設定] > [歪み] (または [シャープネス]) > [チェッカーボード] > [ローカル拡大]に移動します。
2. Imatestでローカル倍率と関連する指標を計算するには、 「ローカル倍率の計算」を有効にします。
3. イメージセンサーの画素ピッチをミクロン単位で入力してください。
4. ターゲットのグリッドピッチ（例：チェッカーの高さ）をミリメートル単位で入力してください。
5. （オプション）投影分類計算を有効にすると、Imatest が視野を計算し、ローカル倍率データからレンズ投影方法/マッピング機能を分類します。
   1. ターゲット距離（カメラの入射瞳とターゲット中心間の距離）をミリメートル単位で入力してください。
6. （オプション） 「TV歪み計算」を有効にすると、Imatestがローカルの拡大率データからTV歪みの指標を計算します。TV歪みの結果はJSON/CSV出力に含まれます。
7. （オプション）残りの計算設定を構成します。
   1. （オプション）放射方向を設定することで、検出されたグリッドから計算に使用する点を選択できます。選択された方向からのサンプルは、多項式近似を計算する前に、共通のグリッドステップ距離で平均化されます。
   2. （オプション）歪み測定の原点を選択するように原点を設定します。
   3. （オプション）最大半径を設定して、歪み測定と正規化の最大半径を定義する画像境界を選択します。
   4. （オプション）多項式近似の次数を設定して、画像半径とオブジェクト半径をマッピングする多項式近似の次数を選択したり、自動選択次数検索の最大次数として使用したりします。
   5. （オプション）自動選択次数：境界フィットを有効にすると、選択した最大画像半径（最大半径）でのオブジェクト半径を推定するために使用される初期多項式フィットの次数（最小R²基準に基づく）が自動的に選択されます。
   6. （オプション） 「次数の自動選択：正規化フィット」を有効にすると、局所倍率の計算に使用される多項式フィットの次数（最小R²基準に基づく）と、関連する逆フィットが自動的に選択されます。
   7. （オプション）最小R²を設定すると、自動選択次数検索で選択されるために適合が満たすべき最低許容決定係数（R²）を指定できます。
   8. （オプション）調整済みR²の使用を有効にすると、自動選択学位検索が標準R²ではなく調整済みR²を使用して評価されます。
8. （オプション）自動／バッチ分析で使用するローカル拡大自動（バッチ）プロットの設定を構成します。これらの設定は、対話型分析のプロットには影響しません。
   1. 各種グラフ軸に使用する単位を選択してください。複数の単位を選択すると、該当するグラフの複数のバージョンが生成されます。
   2. グラフの出力ファイル形式を選択してください。
   3. 保存および／または表示するグラフを選択してください。
9. 解析に使用する画像を読み込んで選択してください。
10. 分析対象として適切なターゲットを選択してください（例：チェッカーボード）。
11. （オプション）選択したターゲットの歯車アイコンをクリックして設定ウィンドウを開き、検出設定、クロップ、一般出力などのターゲット固有の設定を構成します。
    1. （オプション）設定ウィンドウの左側にある「自動モード設定」をクリックして、チェッカーボード自動（バッチ）設定を構成します。これらの設定は、対話型分析には影響しません。
       1. （オプション）CSVおよびJSON出力の有効化／無効化（両方ともデフォルトで有効）。
       2. （オプション）結果を保存するフォルダを変更します（デフォルトでは、テスト対象の画像を含むディレクトリに「Results」という名前のサブフォルダが作成されます）。
12. 分析を実行します。
    1. 相互の作用：
       1. 設定ウィンドウから、ポイント検出とカバレッジが十分に良好であることを確認してください。
          1. （オプション） ROI選択と分析の下にある「領域なし：高速ジオメトリ計算」オプションを選択すると、SFRなどの非ジオメトリ計算が無効になります。
          2. （オプション） 「枠線の切り抜き」を選択すると、局所的な拡大率の計算において、チェッカーボードの点検出のみに影響する画像切り抜き範囲を選択できます。
          3. （オプション） 「ターゲット検出設定」を選択して、チェッカーボード検出設定を構成します。チェッカーボード検出設定は、メインウィンドウから「設定」>「歪み（またはシャープネス）」>「チェッカーボード」に移動して構成することもできます。
       2. 分析を続行するには「OK」をクリックしてください。
       3. 分析が完了するまでお待ちください。
    2. 自動（バッチ） :
       1. 分析が完了するまでお待ちください。
13. 結果を表示する。
    1. 相互の作用：
       1. Reschartsウィンドウから、表示オプション18「ローカル拡大」に移動して、ローカル拡大に関連するさまざまなグラフを表示します。
       2. プロット軸の単位はドロップダウンメニューから設定できます。
       3. 結果／データは、右下隅の「データを保存」をクリックすることで、標準出力ファイル（JSONおよびCSV形式）に保存できます。
       4. 画面右下にある「画面を保存」をクリックすると、現在の表示画面のスクリーンショットを保存できます。
    2. 自動（バッチ） :
       1. 出力結果フォルダに移動すると、さまざまなグラフ出力と標準出力ファイル（JSONおよびCSV）が見つかります。
       2. 出力結果には、「ローカル拡大自動（バッチ）プロット」で選択した設定に加え、特定のターゲット分析に関連する設定も反映されます。

ヒント

• 各出力を検査してください。
  • 検出された点、半径、および最大半径のプロットを確認してください。
    • 選択した放射方向に沿って検出された点の位置（これらは計算に使用される点です）が十分に正確であることを確認してください。
    • グリッドの中心点が数値画像の中心と一致するか、または近いことを確認してください。
    • 選択した最大半径に対応する画像境界付近に、少なくとも1つの検出点が存在することを確認してください。
  • 画像と物体半径の関係を示すグラフ（順方向近似）を確認してください。
    • 順方向多項式近似の精度は、局所的な拡大率や、放射状歪み率などの派生指標の精度に直接影響します。逆方向多項式近似は、TV歪み指標の計算（結果ファイル出力に含まれる）にのみ使用されます。
    • 各放射方向からのサンプルがばらついていないことを確認してください。大きくばらついている場合は、カメラとターゲットの位置ずれ、非対称な歪み、または不正確な点検出のいずれかが原因である可能性があります。
    • 不正確な点検出などにより、平均サンプルや全体の測定値に偏りを生じさせる可能性のある、重大な外れ値サンプルが存在しないことを確認してください。
    • 外挿領域（ピンク色）が小さいこと、および選択した最大半径における推定オブジェクト半径が正確であることを確認してください。
  • 局所倍率と画像半径の関係を示すグラフを確認してください。
    • 局所的な拡大の利点の1つは、視覚的に観察できるものを反映できる点である。
    • （中央で正規化された）局所的な倍率が、画像内のグリッドサイズの変化に関して、人間の目で見るものと一致していることを確認してください。
  • 歪み補正後の画像プロットを確認してください。
    • 画像内のグリッドの直線性を確認してください。これは、（順方向）多項式近似が画像の歪みをどの程度正確に表現しているかを評価するための良い指標となります。
• 測定の限界を理解してください。
  
  • 放射状多項式歪みモデルは近似値であり、特に非対称性や位置ずれが存在する場合、画像に存在する歪みを完全に記述できない可能性があります。
  • 多項式近似におけるR²値が高いほど、データへの適合度が高いことを示すが、必ずしも画像における実際の放射状歪みへの適合度が高いとは限らない。
    • 調整済みR²を使用して、高次のモデルにペナルティを与えます。
    • 安定したモデル出力を得るには、多項式近似次数を指定し、次数自動選択検索を無効にしてください。
  • 外挿領域における測定値は、一般的に信頼性が低くなります。多項式近似に含まれる最外側のグリッド点より外側の半径はすべて外挿する必要があります。
    • 外挿を最小限に抑えるには、検出されたグリッド点の少なくとも1つが、選択した最大半径境界（画像の側面、角、またはカスタム半径など）の近くにあることを確認してください。選択した最大半径を超える半径に点が存在する場合、境界サンプルは補間によって決定されます。最大半径が「検出された最外点」に設定されている場合、境界サンプルは測定データによって直接定義されるため、補間や外挿は不要です。
    • 外挿領域の精度は、視野端における局所的な倍率など、他の出力の対応する領域の精度に直接影響します。
      • 例えば、参照論文の結果では、局所的な放射状倍率が視野の端で徐々に減少し、その後増加するという結果が出ています（表1および図11）。この領域は誤りである可能性が高く（樽型歪み画像の端では倍率がさらに減少すると予想されます）、歪み補正後の画像（図15）では端に著しい湾曲が見られることからも、このことが裏付けられます。この誤差は、外挿によって最大画像半径（画像辺）における物体半径を過小評価したことが原因です。著者らは、この誤差の一部は画像端付近のグリッド点位置特定精度が低いことに起因するとしています（4.2節）。グリッド点位置特定精度が低いことが、このような挙動の一因となっている可能性があります。
• 関連する背景資料を確認してください。
  • 参考文献には、詳細な方法論情報と背景となる理論が記載されている。
  • Wikipediaの「 魚眼レンズ」のページには、標準的なレンズ投影方法／マッピング関数に関する適切な説明が掲載されています。

結果

JSON/CSV出力に関するドキュメントについては、別途「ローカル拡大結果」ページを参照してください。