ナイキスト周波数、エイリアシング、およびカラーモアレ

シャープネスは重要な画質要素ですが、
より鮮明なレンズが必ずしも優れているとは限らない。
レンズの解像度がセンサーに対して高すぎると、視覚的に不快なアーティファクトが発生する場合があります。

「階段状ノイズ」やモアレパターン（強い色を持つ低周波パターン）などのアーティファクトは、デジタルカメラをはじめとするすべてのデジタルサンプリングシステムには、ナイキスト周波数と呼ばれる最大空間周波数があり、それを超えるシーン情報は正しく再現できないために発生します。ナイキスト周波数を超える情報がセンサーに到達すると、より低い空間周波数に「エイリアシング」され、その結果、後述するようなアーティファクトが生じる可能性があります。

サンプル画像提供：ウィキペディア

サンプリング

デジタルサンプリング、つまり連続的なアナログ信号を離散的なデジタル信号に変換するプロセスは、2つの操作から成ります。

ナイキスト標本化定理

ナイキスト標本化定理は、信号がサンプリングレートd scanでサンプリングされ、カットオフ周波数f Cがd scan / 2 以下で厳密に帯域制限されている場合、元のアナログ信号を正確に復元できることを示しています。周波数f Nyq = d scan / 2 はナイキスト周波数と呼ばれます。定義により、 f Nyqは常に 0.5 サイクル/ピクセルです。

ナイキスト周波数は、1サイクルあたり2つのサンプルが含まれる周波数として視覚化できます。

低周波数（1サイクルあたり2サンプル以上）は正確に再現できるが、高周波数は再現できない。

元の信号を復元するための（専門的な）数式はWikipediaに掲載されています。これにはsinc(sin(x)/x)関数が含まれますが、これは一般的にデジタル画像処理では使用されません。 

最初のセンサーヌル点（信号の完全なサイクルが1つのサンプルをカバーする周波数であり、位相に関係なくゼロでなければならない）は、ナイキスト周波数の2倍です。これは、イメージセンサーがナイキスト周波数以上で大きな平均感度（すべてのサンプリング位相の平均）を持つ可能性があり、その結果、目に見える大きなアーティファクトが発生する可能性があることを意味します。

エイリアシング

ナイキスト周波数f Nを超える信号エネルギーはエイリアシングを起こし、繰り返しパターンで人工的に低周波の信号として現れます。これは通常、モアレパターンとして目立ちます。繰り返しパターンでないエイリアシングは、ギザギザの斜めの線、つまり「ギザギザ」または「階段状」の線として現れます（これは画像劣化の軽度な形態です）。下の図は、ナイキスト周波数を超える応答がどのようにエイリアシングを引き起こすかを示しています。

エイリアシングの例
信号(3 f Nyq  /2)                         
センサーピクセル 
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
 
応答（ f Nyq  /2）                         

この簡略化された例では、センサーのピクセルは中央の行でピンクとシアンの交互のゾーンとして表示されます。定義により、ナイキスト周波数は 2 ピクセルで 1 サイクル、つまり 0.5 サイクル/ピクセルです。信号 (上段、4 ピクセルで 3 サイクル) はナイキスト周波数の 3/2 ですが、センサーの応答 (下段) はナイキスト周波数の半分(4 ピクセルで 1 サイクル) であり、間違った周波数です。これはエイリアシングです。

イメージセンサーはナイキスト周波数以上の信号に反応します。MTFはゼロではありません。
しかし、エイリアシングのため、応答は良好ではありません。

ベイヤーカラーフィルターアレイ（RGRGRGとGBGBGBのフィルターが交互に並んだセンサー）を搭載したデジタルカメラでは、同じ色のピクセル間の間隔が最終画像のピクセル間の間隔よりもかなり大きいため、問題がさらに深刻化します。特に赤と青のチャンネルでは、ナイキスト周波数が画像全体の半分になります。これにより、布地などの繰り返し模様で非常に目立つカラーモアレが発生する可能性があります。デモザイキングプログラム（RAW画像で欠落している色を補完するプログラム）は、高度なアルゴリズムを使用して、他の色のディテールから各色の欠落したディテールを推測します。これらのアルゴリズムは、カラーモアレに大きな影響を与える可能性があります。

ベイヤーカラーフィルターアレイ（CFA）バイエルCFA

多くのデジタルカメラのセンサー、特にレンズ交換式の旧型カメラには、ナイキスト周波数以上の応答を低減するためのアンチエイリアシングフィルターまたは光学ローパスフィルター（OLPF）が搭載されています。アンチエイリアシングフィルターは画像をわずかにぼかすため、解像度が低下します。電子機器のようにシャープなカットオフフィルターは光学分野には存在しないため、特に非常にシャープなレンズを使用した場合、ある程度のエイリアシングが残ります。アンチエイリアシングフィルターの設計には、シャープネスとエイリアシングのトレードオフ（およびコスト）が伴います。

極端なエイリアシング。すでに生産終了している14メガピクセルのKodak DCS 14n（初のフルフレーム24x36mmデジタル一眼レフ）には、アンチエイリアシングフィルターがありませんでした。シャープなレンズを使用した場合、MTF応答はナイキスト周波数をはるかに超えて広がりました。Sergio Lovisolo氏が提供したこのMTFテストチャート画像に示すように、14nはナイキスト（63 lp/mm）付近で非常に悪い挙動を示しました。このカラーモアレは、最悪の状態です。このカメラはウェディング写真市場で販売されましたが、ウェディングドレスにモアレが発生すると、顧客は非常に不満を抱きました。これは写真家にとってもKodakにとっても悪いことでした。

カラーモアレの例

最近の30メガピクセル以上のフルサイズセンサー搭載デジタル一眼レフカメラは、画素サイズが非常に小さいため、モアレはほとんど問題になりません（少なくとも非反復パターンでは）。これらのカメラにはアンチエイリアシングフィルターが搭載されていないため、画素数の増加だけから予想されるよりも、画質が大幅に向上しています。

シグマのデジタル一眼レフカメラに採用されているFoveonセンサーは、各画素において3色すべてに感度があります。また、アンチエイリアシングフィルターを搭載していないため、ナイキスト周波数において高いMTF値を実現できますが、モノクロ画像であるため、カラー画像ほどエイリアシングは目立ちません。

カラーモアレ

カラーモアレとは、布地や柵など、空間周波数の高い繰り返しパターンを持つ画像に現れる人工的な色の縞模様のことです。右側の例は、キヤノン Rebel XT（比較的大きな画素を持つ旧型のAPS-C一眼レフカメラ）と優れたキットレンズで撮影したシャツの細部です。

カラーモアレは、以下で説明するように、ベイヤーカラーフィルターアレイを採用したイメージセンサーにおけるエイリアシングの結果です。重要なポイント：

  • カラーモアレは、センサーのナイキスト周波数（画像全体では0.5サイクル/ピクセル、赤と青のチャンネルを個別に考慮すると0.25サイクル/ピクセル）を超える画像エネルギーが相当量存在する場合に発生する可能性があります。
  • レンズの解像度とアンチエイリアシング（ローパス）フィルター（存在する場合は画像を滑らかにする）の影響を受けます。高度なデモザイキングソフトウェアを使用すれば、エイリアシングによるアーティファクトを改善できます。エイリアシングは、解像度の高いレンズほど顕著になる傾向があります。
  • それは赤と青のチャンネルで最も顕著に現れる。
  • カラーモアレは、レンズの解像度が最も高く、横方向の色収差（カラーモアレに似た現象を引き起こす可能性がある）が最小限に抑えられる画像の中心付近で測定すべきである。

Canon Rebel XTにおけるカラーモアレ

カラーモアレの例: 生地を撮影
キヤノン Rebel XT とキットレンズ

imatest教育アプリ

Imatestには、サンプリング定理やMTF、シャープニングといった他の概念を視覚的に理解できる教育用アプリがいくつか含まれています。

教育アプリを開くには、

標本抽出定理を解説するImatest教育アプリ。
スライダーを使って周波数と位相を調整できます。

周波数を調整することで、周波数が 1x (0.5 サイクル/ピクセル) のときにエイリアシング (出力信号が入力信号よりも低い周波数になる現象) が発生することがわかります。周波数を 1x に設定して位相を調整すると、出力の位相感度が示され、振幅が最大からゼロまで変化します。

この教育アプリは、標本抽出定理とエイリアシングを視覚的に理解するのに役立ちます。ぜひ試してみてください。

エイリアシングがMTF測定に及ぼす影響

強いエイリアシングとは、レンズがデータ再構成可能な最大周波数であるナイキスト周波数（ f Nyq = 0.5 C/P）をはるかに超えた周波数でも顕著な応答を示すことを意味します。これにより、階段状の模様やモアレ縞などのアーティファクトが発生し、 f > f Nyqにおける MTF の増大に対応します。極端なエイリアシングによって生じる極端なアーティファクトは、測定結果を無効にしてしまう可能性があり、測定結果に実質的な意味を与えません。f Nyqにおける MTF が約 0.20 または 0.25 より大きい場合、エイリアシングは性能に大きな影響を与える可能性があります。

右側の画像はそれをはるかに超えています。極端なシャープニング（半径=2の標準シャープニング -シャープニングページのどの例よりも強い）と極端なエイリアシングの両方が発生しています。その結果、測定されたMTFサマリーメトリクスはほとんど意味をなしません。いくつかコメントがあります。

  • 過剰なエイリアシング（ f Nyqを超える高エネルギー）は、レンズがセンサーに対して性能が高すぎることを意味します。エイリアシングの原因となるだけでなく、一般的にはレンズが過剰に高価であるか、センサーの画素数が大きすぎる（または不足している）ことを示しています。いずれの場合も、システムは最適化されておらず、レンズとセンサーのマッチングが不十分です。
  • 過度なシャープ化（ f = 0 から始まる MTF の急激な増加として現れる）は、一般的に MTF50 などの要約指標を向上させますが、標準的なシャープ化の周期的な性質により、要約指標が予測不能に変動する可能性があります。また、エッジ付近に「ハロー」などの空間領域のアーティファクトが発生し、小さな画像（スマートフォンに表示される画像）では見栄えが良いかもしれませんが、大きな画像では見栄えが悪くなります。強いシャープ化は、通常、 画像の情報容量や関連する指標を改善しません。
  • f > f Nyqで過剰なエネルギーが検出された場合、警告を追加する必要があります。
極端なエイリアシング（「階段状」として見える）とシャープ化（エッジ付近の「ハロー」として見える）のあるエッジの MTF。周期的な MTF 応答については、シャープ化の例で説明します。

斜めエッジMTF ― なぜそれが全てを物語らないのか

元のゾーンプレートのパターンは同心円のみで構成されています。それ以外の部分はすべてモアレであり、これは元のパターンをアンチエイリアシング（ローパスフィルタリング）せずにサンプリングした結果です。

ISO 12233ビニングアルゴリズムのおかげで、スラントエッジはナイキスト周波数を超えるシステム応答を測定できます。  ( f Nyq = 0.5 サイクル/ピクセル) 。これまで述べてきたように、 f Nyqを超える応答はモアレなどのエイリアシングアーティファクトを引き起こす可能性がありますが、MTF 測定にはいくつかの制限があります。特に、Imatest が速度と効率的なスペース利用のために (ほとんどの場合) 推奨している傾斜エッジ MTF 測定には制限があります。

制限事項は

モアレはゾーンプレートパターン（ Imatestテストチャートモジュールで作成できる最悪のケースのパターンの一種）では非常に目立ちますが、ゾーンプレートは定量的な測定には適していません。

MTF測定値と目に見えるエイリアシングを相関させることは困難であるため、ナイキスト周波数を超えるMTF応答が強い場合は、エイリアシングが問題となっている可能性があり、さらに調査する必要があるという警告とみなすべきであり、エイリアシングの確実な指標ではありません。エイリアシングの影響を直接測定するためのImatestの手法を以下に示します。

ウェッジ

ImatestのWedgeおよびeSFR ISOモジュールで解析されるウェッジは、エイリアシングの視覚的な表示と測定において最良の結果をもたらします。ウェッジは、計算に使用できます。

ウェッジは、旧ISO 12233:2000チャートのウェッジモジュールで手動で選択できますが、不便なためお勧めしません（また、旧チャートは現行のISO 12233:2014+規格でも推奨されていません）。eSFR ISOチャートとモジュールの使用を強くお勧めします。  現行規格に準拠しており、ウェッジやその他の特徴を自動的に検出します。カラーエイリアシングに加え、MTF、横色収差、色、階調応答、ノイズ、信号対雑音比など、多くの画像品質要素を測定します。ウェッジモアレプロットは、WedgeモジュールとeSFR ISOモジュールで同一です。以下にeSFR ISOの結果を示します。

ウェッジモアレプロット

下のウェッジモアレプロットは平均CIELAB色度( ）は、空間周波数の関数としてウェッジ内部で測定されます。その他のカラーエイリアシング関連の指標は、以下の表に示されています。

以下のプロットを取得するには、 eSFR ISO チャート画像を取得し、ここの手順に従ってeSFR ISO セットアップを実行します。eSFR ISO はバッチ処理可能な自動モードでも実行できます。表示で、 18. ウェッジ モアレを選択します。

色エイリアシング（CIELAB色度）が顕著な古いiPhone。
画像の彩度が高められています。

グラフの曲線は、選択された指標の平均値です（ この場合）、下図に示すようにくさび形の内側で撮影されます。

くさび形のセグメント（上記の色強調画像から拡大したもの）。空間周波数は左から右に向かって増加する。
各周波数の指標は、ウェッジ内のパラメータ（例：|RB|）を平均することによって得られます。

下の表は、利用可能なメトリクスの一覧です。これらのメトリクスは、下の画像の右側にある「表示」ドロップダウンメニューの「モアレ」で選択できます。推奨されるメトリクスは3つだけで、残りは参考情報または実験的なものです。各メトリクスの最大値は、プロットの左上に表示されます（上記参照）。すべてのメトリクスの最大値は、JSONおよびCSV形式の結果ファイルに保存できます。以下に、推奨メトリクスを強調したメトリクスの一覧を示します。

平均(|RB|)これは良い指標です。なぜなら、赤と青のチャンネルはカラーエイリアシングの影響を最も受けやすいからです。
平均(|RB|) / 平均(R,B)これはRとBの平均値で正規化されているため、若干安定性が高い。
平均(|RG|)これらは興味深い検討対象となるかもしれないが、緑色（G）チャネルのナイキスト周波数が高いため、RBメトリクスよりも感度が低い傾向がある。
平均(|RG|) / 平均(R,G)
平均値(|GB|)
平均(|GB|) / 平均(G,B)
S(HSL)これらの飽和度指標は、低レベル（LまたはS）で大きな値を示す可能性があり、誤解を招く可能性があるため、推奨されません。これらの指標は保持しない方が良いでしょう。
S（HSV）
彩度CIELAB色度、 これは主要な（推奨される）カラーエイリアシングの指標です。

カラーエイリアシングメトリック

カラーエイリアシングのメトリックは、2018年10月にリリースされたImatest 5.1.12で新たに追加されました。このリリース以前は、カラーメトリックは画像の外観とあまり相関していませんでした。表示するメトリックは、 [表示]の下にある[モアレ]ドロップダウンメニューで選択します。

各ウェッジ領域は、カラーエイリアシング指標を計算する前にホワイトバランス調整されます。指標はウェッジ内で計算されます。一貫性のある結果を得るには、スムージング（幅0.01サイクル/ピクセルのカーネルを使用）が推奨されます。カラーモアレ指標は、モアレドロップダウンメニューで選択されます。推奨される主な指標は、クロマ（sqrt(a*^2 + b*^2)）です。これは、CIELABクロマの平均、 C = sqrt( a * 2 + b * 2 )です。その他の有用なカラーエイリアシング指標は、mean(|RB|)とmean(|RB|) / mean(R,B)です。|RB|は、赤と青が緑よりもエイリアシングに敏感であるため有用です。

「データの保存」をクリックするか、適切なチェックボックスをオンにして eSFR ISO セットアップを実行すると、データが CSV ファイルと JSON ファイルに保存されます。以下は、カラーエイリアシングの概要メトリック (上記の表に示されている各メトリックの最大値) の JSON 出力例です。推奨メトリックは太字で表示されています。

"color_aliasing_max_mean_R_minus_B": [0.1327,0.1088,0.07527,0.07033],
"color_aliasing_max_mean_R_minus_B_normalized": [0.391,0.2999,0.4362,0.3822],
"color_aliasing_max_mean_R_minus_G": [0.09607,0.02452,0.08199,0.07815],
"color_aliasing_max_mean_R_minus_G_normalized": [0.328,0.05977,0.4449,0.3945],
"color_aliasing_max_mean_G_minus_B": [0.1041,0.1088,0.06335,0.03999],
"color_aliasing_max_mean_G_minus_B_normalized": [0.2701,0.2991,0.2851,0.1786],
"color_aliasing_max_mean_S_HSL": [0.6033,0.9159,0.4902,0.5427],
"color_aliasing_max_mean_S_HSV": [0.3227,0.2781,0.4083,0.3311],
"color_aliasing_max_mean_CIELAB_chroma": [16.61,16.48,10.69,11.19],