나이퀴스트 주파수, 에일리어싱 및 컬러 모아레

선명도는 중요한 이미지 품질 요소이지만,
더 선명한 렌즈가 항상 더 좋은 것은 아닙니다.
렌즈의 선명도가 센서에 비해 너무 높으면시각적으로 거슬리는 현상이 발생할 수 있습니다.

"계단식" 현상이나 모아레 패턴(강한 색상을 띠는 저주파 패턴)과 같은 이러한 아티팩트는 디지털 카메라를 비롯한 모든 디지털 샘플링 시스템에는 나이퀴스트 주파수 라고 불리는 최대 공간 주파수가 존재하기 때문에 발생할 수 있습니다. 나이퀴스트 주파수 이상의 정보가 센서에 도달하면 더 낮은 공간 주파수로 "앨리어싱"되어 아래에서 설명하는 아티팩트가 발생할 수 있습니다.

견본 추출

디지털 샘플링 , 즉 연속적인 아날로그 신호를 이산적인 디지털 신호로 변환하는 과정에는 두 가지 작업이 포함됩니다.

• 샘플링 — 지정된 간격으로 연속 신호의 값을 획득하는 것.
• 양자화 란 연속적인 아날로그 샘플을 불연속적인 디지털 샘플로 변환하는 것을 말합니다. 예를 들어 0~1볼트를 0~255(8비트 시스템의 경우)의 디지털 레벨로 변환하는 것입니다. 이 페이지에서는 양자화에 대해 자세히 다루지 않습니다.

나이퀴스트 샘플링 정리

나이퀴스트 샘플링 정리는 신호가 d _스캔의 샘플링 속도로 샘플링되고, 차단 주파수 _fC가 d _스캔 /2보다 크지 않은 엄격한 대역 제한 조건 하에서 샘플링될 경우, 원래의 아날로그 신호를 정확하게 복원할 수 있다는 것을 나타냅니다. 이때 주파수 _fNyq = d _스캔 /2를 나이퀴스트 주파수 라고 합니다. 정의에 따르면 _fNyq 는 항상 0.5 사이클/픽셀입니다.

나이퀴스트 주파수는 주기당 두 개의 샘플을 갖는 주파수로 시각화할 수 있습니다.

낮은 주파수(주기당 두 개 이상의 샘플)는 정확하게 재현할 수 있지만, 높은 주파수는 재현할 수 없습니다.

원래 신호를 복원하는 데 필요한 (다소 복잡한) 수학적 계산은 위키피디아 에 있습니다. 여기에는 일반적으로 디지털 영상 처리에서 사용되지 않는 sinc(sin(x)/x) 함수가 포함됩니다. 

첫 번째 센서 널(신호의 완전한 주기가 하나의 샘플을 포함하는 주파수, 즉 위상에 관계없이 0이 되는 주파수)은 나이퀴스트 주파수의 두 배 입니다. 이는 이미지 센서가 나이퀴스트 주파수 이상에서 큰 평균 감도(모든 샘플링 위상의 평균)를 가질 수 있음을 의미하며, 이로 인해 상당한 시각적 아티팩트가 발생할 수 있습니다.

별칭

나이퀴스트 주파수 (fN ₎ 이상의 신호 에너지는 에일리어싱 현상을 일으킵니다 . 이는 반복적인 패턴으로 나타나는 인위적으로 낮은 주파수의 신호로, 일반적으로 모아레 패턴으로 관찰됩니다. 비반복적인 패턴에서는 에일리어싱이 들쭉날쭉한 대각선, 즉 "계단식" 또는 "들쭉날쭉한" 형태로 나타납니다(이는 모아레 패턴보다 덜 심각한 형태의 이미지 저하입니다). 아래 그림은 나이퀴스트 주파수 이상의 응답이 어떻게 에일리어싱을 유발하는지 보여줍니다.

이 단순화된 예에서 센서 픽셀은 가운데 행에 분홍색과 청록색 영역이 번갈아 나타나는 것으로 표시됩니다. 정의에 따르면 나이퀴스트 주파수는 2픽셀당 1주기, 즉 픽셀당 0.5주기입니다. 신호(윗줄, 4픽셀당 3주기)는 나이퀴스트 주파수의 3/2이지만, 센서 응답(아랫줄)은 나이퀴스트 주파수의 절반 (4픽셀당 1주기)으로, 잘못된 주파수입니다. 이는 에일리어싱 현상 입니다.

이미지 센서는 나이퀴스트 주파수 이상의 신호에 반응합니다. 즉, MTF가 0이 아닙니다.
하지만 에일리어싱 때문에 좋은 응답이 아닙니다.

베이어 컬러 필터 어레이를 사용하는 디지털 카메라(센서가 RGRGRG와 GBGBGB 필터가 교대로 배열된 구조)에서는 문제가 더욱 심각해집니다. 같은 색상의 픽셀 간 간격이 최종 이미지의 픽셀 간 간격보다 훨씬 크기 때문입니다. 특히 빨강과 파랑 채널의 경우, 나이퀴스트 주파수가 전체 이미지 주파수의 절반 에 불과하기 때문에 이러한 현상이 두드러집니다. 이로 인해 색상 모아레 현상이 발생할 수 있으며, 이는 직물과 같은 반복적인 패턴에서 특히 심하게 나타납니다. 디모자이킹 프로그램(원본 이미지에서 누락된 색상을 채워주는 프로그램)은 정교한 알고리즘을 사용하여 다른 색상의 디테일을 기반으로 각 색상의 누락된 디테일을 추론합니다. 이러한 알고리즘은 색상 모아레 현상에 상당한 영향을 미칠 수 있습니다.

바이엘 CFA

많은 디지털 카메라 센서, 특히 렌즈 교환식 구형 카메라에는 나이퀴스트 주파수 이상의 응답을 줄이기 위해 안티앨리어싱 필터 또는 광학 저역 통과 필터(OLPF)가 있습니다. 안티앨리어싱 필터는 이미지를 약간 흐리게 만들어 해상도를 저하시킵니다. 광학계에서는 전자공학처럼 선명한 차단 필터가 존재하지 않기 때문에, 특히 매우 선명한 렌즈를 사용할 경우 어느 정도의 앨리어싱이 남게 됩니다. 안티앨리어싱 필터 설계는 선명도와 앨리어싱 사이의 절충점을 고려해야 하며, 비용 또한 중요한 요소입니다.

극심한 앨리어싱 현상. 단종된 지 오래된 1400만 화소 코닥 DCS 14n(최초의 풀프레임 24x36mm DSLR)에는 앨리어싱 방지 필터가 없었습니다. 선명한 렌즈를 사용했을 때, MTF 응답은 나이퀴스트 주파수를 훨씬 넘어섰습니다. 세르지오 로비솔로가 제공한 이 MTF 테스트 차트 이미지에서 볼 수 있듯이, 14n은 나이퀴스트 주파수(63 lp/mm) 부근에서 매우 심각한 문제를 보였습니다. 이 컬러 모아레 현상 은 최악에 가까웠습니다. 이 카메라는 웨딩 사진 시장에 판매되었는데, 웨딩드레스에 나타나는 모아레 현상은 고객들에게 큰 불만을 야기했습니다. 사진작가에게도, 코닥에게도 악영향을 미친 것입니다.

최근 3000만 화소 이상(풀프레임 센서 기준)의 DSLR 카메라는 화소 크기가 매우 작아 모아레 현상이 거의 발생하지 않습니다(적어도 반복적이지 않은 패턴에서는). 이러한 카메라에는 안티앨리어싱 필터가 없기 때문에 화소 수 증가만으로 예상되는 것보다 훨씬 더 큰 화질 향상을 보여줍니다.

시그마 DSLR에 사용되는 포베온 센서는 각 픽셀 위치에서 세 가지 색상 모두에 민감합니다. 또한 안티앨리어싱 필터가 없기 때문에 나이퀴스트 주파수에서 높은 MTF를 가질 수 있지만, 흑백이기 때문에 컬러에 비해 앨리어싱 현상이 덜 두드러집니다.

imatest 교육용 앱

Imatest에는 샘플링 정리뿐만 아니라 MTF 및 샤프닝과 같은 여러 개념을 시각화할 수 있는 교육용 앱 세트가 포함되어 있습니다.

교육용 앱을 열려면,

• Imatest에서 교육용 앱을 엽니다.

Imatest 교육용 앱은 표본 추출 정리를 설명합니다.
슬라이더를 사용하여 주파수와 위상을 조정할 수 있습니다.

주파수를 조정하면 주파수가 1배(0.5 사이클/픽셀)일 때 에일리어싱(입력 신호보다 낮은 주파수의 출력 신호)이 발생하는 것을 확인할 수 있습니다. 주파수를 1배로 설정한 상태에서 위상을 조정하면 출력의 위상 감도를 알 수 있으며, 이는 최대 진폭에서 0 진폭까지 변화합니다.

이 교육용 앱은 샘플링 정리와 에일리어싱 현상을 시각화하는 데 도움이 됩니다. 한번 사용해 보세요.

에일리어싱이 MTF 측정에 미치는 영향

심한 에일리어싱이란 렌즈가 데이터를 재구성할 수 있는 최대 주파수, 즉 나이퀴스트 주파수 ( fNyq = 0.5 C/P)를 훨씬 넘어서까지 상당한 응답을 보이는 것을 의미합니다. 이는 계단 현상이나 모아레 무늬와 같은 아티팩트를 유발하는데, 이는 f > fNyq 에서 MTF가 증폭되는 것과 관련이 있습니다 . 극심한 에일리어싱으로 인한 심각한 아티팩트는 측정 결과를 무효화할 수 있으며, 실제 의미를 상실하게 만들 수 있습니다. 에일리어싱은 _fNyq 에서의 MTF가 약 0.20 또는 0.25보다 클 때 성능에 상당한 영향을 미칠 수 있습니다.

오른쪽 이미지는 그 범위를 훨씬 넘어섰습니다. 극단적인 선명도 (반경 = 2의 표준 선명도 - 선명도 페이지의 예시들보다 훨씬 강함)와 극심한 앨리어싱이 모두 적용되었습니다. 결과적으로 측정된 MTF 요약 지표는 사실상 의미가 없습니다. 몇 가지 의견을 덧붙이겠습니다.

• 과도한 앨리어싱 ( fNyq 이상의 높은 에너지)은 렌즈가 센서에 비해 너무 좋다는 것을 의미합니다. 앨리어싱을 유발하는 것 외에도, 이는 일반적으로 렌즈가 필요 이상으로 비싸거나 센서의 픽셀 크기가 너무 크거나(또는 픽셀 수가 부족하거나) 함을 의미합니다. 어느 경우든 시스템이 최적화되지 않은 상태, 즉 렌즈와 센서가 서로 맞지 않는 것입니다.
• 과도한 선명도 향상 ( f =0부터 MTF가 급격히 증가하는 현상)은 일반적으로 MTF50과 같은 요약 지표를 향상시키지만, 표준 선명도 향상의 주기적인 특성으로 인해 요약 지표가 예측 불가능하게 변동할 수 있습니다. 또한, 가장자리 부근에 "후광"과 같은 공간 영역 아티팩트가 발생하는데, 이는 작은 이미지(휴대폰 화면에 표시되는 이미지)에서는 보기 좋을 수 있지만 큰 이미지에서는 문제가 될 수 있습니다. 강한 선명도 향상은 일반적으로 이미지 정보 용량 및 관련 지표를 개선하지 못합니다.
• f > f Nyq 에서 과도한 에너지가 감지될 때 경고를 추가해야 합니다.

극심한 앨리어싱("계단식"으로 나타남) 과 샤프닝(가장자리 근처에 "후광"으로 나타남)이 있는 가장자리에 대한 MTF입니다. 주기적인 MTF 응답은 샤프닝 예제 에서 설명합니다.

사선 모서리 MTF - 왜 이것만으로는 모든 것을 설명할 수 없는가

ISO 12233 비닝 알고리즘 덕분에, 경사진 모서리를 이용하면 나이퀴스트 주파수 이상의 시스템 응답을 측정할 수 있습니다.  ( _fNyq = 픽셀당 0.5 사이클) . 앞서 설명했듯이 _fNyq 이상의 응답은 모아레와 같은 에일리어싱 아티팩트를 유발할 수 있지만, MTF 측정에는 몇 가지 한계가 있습니다. 특히 Imatest에서 속도와 효율적인 공간 사용 때문에 (대부분의 경우) 선호하는 방법인 경사 에지 MTF 측정에는 이러한 한계가 있습니다.

제한 사항은 다음과 같습니다.

• 대부분의 소비자용 카메라의 기본 출력 이미지(처리된 이미지, 원본이 아님)는 선명도 처리가 되어 있어 높은 공간 주파수 대역에서 응답성이 크게 향상됩니다. 응답성이 향상되는 주파수 대역의 범위와 그 정도는 선명도 처리 정도, 반경, 알고리즘에 따라 달라집니다. 선명도 처리는 앨리어싱 현상(센서에 도달하는 빛의 공간 주파수 스펙트럼과 디모자이킹 알고리즘에 따라 달라짐)에는 거의 영향을 미치지 않기 때문에, 선명도가 적용된 이미지의 응답성은 오해를 불러일으킬 수 있습니다.
• 컬러 모아레 현상은 비스듬한 가장자리에서는 보기 어렵습니다. 실제로 가장자리 근처에 색깔 있는 픽셀 형태로 나타나지만, 반복되지 않는 패턴에서는 식별하기 어렵습니다.
• 모아레 현상은 훨씬 더 잘 보입니다.
  • 쌍곡선 쐐기형 패턴(수렴형 막대 패턴)
  • 지멘스 별은 불행히도 높은 공간 주파수 영역이 매우 제한적입니다.
  • 로그 주파수 대비는 모아레 현상이 뚜렷하게 나타나지만 정량적으로 측정하기 어려운 경우를 보여줍니다.

모아레 현상은 존 플레이트 패턴( Imatest 테스트 차트 모듈로 생성할 수 있는 최악의 경우 패턴의 일종)에서 특히 잘 나타나지만, 존 플레이트는 정량적 측정에는 적합하지 않습니다.

MTF 측정값과 가시적인 에일리어싱 사이의 상관관계를 파악하기 어렵기 때문에, 나이퀴스트 주파수 이상에서 강한 MTF 응답은 에일리어싱이 문제일 수 있다는 경고 신호로만 간주하고 추가적인 조사가 필요하다고 봐야 합니다. 이는 에일리어싱의 확정적인 지표는 아닙니다 . 에일리어싱의 영향을 직접 측정하는 Imatest 기법은 아래에 나열되어 있습니다.

웨지

Imatest의 Wedge 및 eSFR ISO 모듈로 분석되는 웨지는 에일리어싱을 시각적으로 가장 잘 나타낼 뿐만 아니라 측정값도 제공합니다. 웨지를 사용하여 계산할 수 있습니다.

• MTF(높은 대비와 서브픽셀 샘플링 위상의 변화로 인해 MTF에 상당한 변화가 발생할 수 있으므로 정확도가 제한적임).
• 앨리어싱 현상의 시작점(또는 "해상도 소실", 막대 개수가 감소하기 시작하는 공간 주파수).
• 특히 색상 모아레 현상과 같은 앨리어싱 효과.

ISO 12233:2000 차트에서는 웨지 모듈을 사용하여 웨지를 수동으로 선택할 수 있지만, 이는 불편하므로 권장하지 않습니다. (또한, 기존 차트는 현재 ISO 12233:2014+ 표준에서도 권장하지 않습니다.) eSFR ISO 차트와 모듈을 사용하는 것을 강력히 권장합니다.  현재 표준을 준수하며 웨지 및 기타 특징을 자동으로 감지합니다. 색상 앨리어싱 외에도 MTF, 측면 색수차, 색상, 톤 응답, 노이즈, 신호 대 잡음비 등 다양한 이미지 품질 요소를 측정합니다. 웨지 모아레 플롯은 Wedge 및 eSFR ISO 모듈에서 동일합니다. 아래에 eSFR ISO 결과를 예시로 보여줍니다.

웨지 모아레 플롯

아래의 웨지 모아레 플롯은 평균 CIELAB 색도를 보여줍니다. ) 웨지 내부에서 공간 주파수의 함수로 측정되었습니다. 아래 표에는 색상 에일리어싱과 관련된 몇 가지 다른 측정값이 나열되어 있습니다.

아래 그림을 얻으려면 eSFR ISO 차트 이미지를 획득한 다음 여기의 지침 에 따라 eSFR ISO Setup을 실행하십시오. eSFR ISO는 배치 처리가 가능한 자동 모드로도 실행할 수 있습니다. 표시(Display) 에서 18. 웨지 모아레(Wedge moiré)를 선택하십시오.

그래프의 곡선은 선택된 측정값의 평균입니다. 이 경우, 아래 그림과 같이 쐐기 안쪽에서 취해집니다.

아래 표는 사용 가능한 측정 항목 목록이며, 이 항목들은 아래 이미지 오른쪽의 모아레 드롭다운 메뉴에서 선택할 수 있습니다. 권장되는 측정 항목은 세 가지뿐이며, 나머지는 참고용 또는 실험용입니다. 각 측정 항목의 최댓값은 위 그림의 왼쪽 상단에 표시됩니다. 모든 측정 항목의 최댓값은 JSON 및 CSV 결과 파일로 저장할 수 있습니다. 다음은 권장 측정 항목을 강조 표시한 목록입니다.

색상 앨리어싱 측정

색상 앨리어싱 측정 항목은 2018년 10월에 출시된 Imatest 5.1.12 버전에 새로 추가되었습니다. 이전 버전에서는 색상 측정 항목이 이미지 외관과 제대로 상관관계가 없었습니다. 표시할 측정 항목은 '표시' 아래의 '모아레' 드롭다운 메뉴에서 선택할 수 있습니다.

각 웨지 영역은 색상 앨리어싱 측정값을 계산하기 전에 화이트 밸런스 조정을 거칩니다. 측정값은 웨지 영역 내부에서 계산됩니다. 일관된 결과를 얻으려면 스무딩(0.01 Cycles/Pixel 너비의 커널 사용)을 권장합니다. 색상 모아레 측정값은 모아레 드롭다운 메뉴에서 선택합니다. 저희가 권장하는 주요 측정값은 크로마(sqrt(a*^2 + b*^2))입니다. 이는 CIELAB 크로마 C = sqrt( a * ² + b * ² )의 평균값입니다. 다른 유용한 색상 앨리어싱 측정값으로는 mean(|RB|)와 mean(|RB|) / mean(R,B)가 있습니다. |RB|는 빨간색과 파란색이 녹색보다 앨리어싱에 더 민감하기 때문에 유용합니다.

[데이터 저장]을 클릭하거나 (해당 확인란을 선택한 상태로 eSFR ISO 설치 프로그램을 실행하면) 데이터가 CSV 및 JSON 파일로 저장됩니다. 다음은 색상 앨리어싱 요약 메트릭에 대한 JSON 출력 예시입니다(위 표에 표시된 각 메트릭의 최대값). 권장 메트릭은 굵게 표시되어 있습니다.

"color_aliasing_max_mean_R_minus_B": [0.1327,0.1088,0.07527,0.07033],
"color_aliasing_max_mean_R_minus_B_normalized": [0.391,0.2999,0.4362,0.3822],
"color_aliasing_max_mean_R_minus_G": [0.09607,0.02452,0.08199,0.07815],
"color_aliasing_max_mean_R_minus_G_normalized": [0.328,0.05977,0.4449,0.3945],
"color_aliasing_max_mean_G_minus_B": [0.1041,0.1088,0.06335,0.03999],
"color_aliasing_max_mean_G_minus_B_normalized": [0.2701,0.2991,0.2851,0.1786],
"color_aliasing_max_mean_S_HSL": [0.6033,0.9159,0.4902,0.5427],
"color_aliasing_max_mean_S_HSV": [0.3227,0.2781,0.4083,0.3311],
"color_aliasing_max_mean_CIELAB_chroma": [16.61,16.48,10.69,11.19],