경사진 모서리에서 이미지 정보 측정: 방정식 및 알고리즘

이 페이지에는 이미지 정보 측정에 필요한 방정식과 알고리즘이 포함되어 있습니다. 특히, Imatest에서 가장 널리 사용되는 테스트 이미지인 기울어진 모서리 이미지에서 정보 용량 C를 계산하는 방법과 신호와 노이즈를 동일한 위치에서 계산하여 이미지 품질을 더욱 정확하게 측정하는 방법이 설명되어 있습니다. 이는 "기울어진 모서리 이미지의 정보 측정: 지침"에 있는 계산 방법을 참조하기 위한 자료입니다.

부록 1에는 정보 이론에 대한 간략한 소개가 포함되어 있습니다.

새로운 측정 방법 소개

이 페이지에서는 Imatest의 정보 용량 관련 측정에 대해 설명합니다. 이 측정은 Imatest에서 MTF( 변조 전달 함수) 측정에 가장 널리 사용되는 패턴인 경사진 가장자리 의 최근 발견된 특성을 활용합니다. 이러한 새로운 측정 지표들은 의료 영상 분야에서 사용되어 왔지만, 측정 방법이 어려워 널리 알려지지 않았습니다. 본 페이지에서는 신호가 있는 환경에서 노이즈를 측정하는 두 가지 서로 다른 방법을 활용하여 경사진 가장자리에서 이러한 지표들을 편리하게 측정하는 방법을 제시합니다.

1. 에지 분산 계산은 공간적으로 종속적인 노이즈 N ( x )를 측정하고 이를 사용하여 대략적인 카메라 정보 용량을 계산합니다.
   
2. 노이즈 이미지 계산은 주파수 종속 노이즈 N ( f ) 를 측정하고 이를 사용하여 대체 정보 용량 과 노이즈 전력 스펙트럼(NPS) , 노이즈 등가 양자(NEQ) 및 SNRi를 포함한 여러 추가 이미지 정보 측정값을 계산합니다.

우리는 매우 다양한 유형의 이미지 처리를 거친 이미지로부터 정보 용량을 얻을 수 있습니다.

• 카메라 RAW 파일에서 TIFF 또는 PNG 파일로 변환된, 최소한의 처리만 거친 이미지입니다 . "최소한의 처리"란 선명도 향상이나 노이즈 감소를 적용하지 않고, 최대 간단한 감마 곡선만 적용한 이미지를 의미합니다(복잡한 톤 응답 곡선이나 로컬 톤 매핑은 적용하지 않음). 컬러 매트릭스를 적용할 수도 있지만(노이즈 및 SNR에는 영향을 주지만 MTF에는 영향을 주지 않음), 이러한 이미지를 사용하면 정보 용량 측정에서 가장 신뢰할 수 있는 결과를 얻을 수 있습니다.
  
  
• 일반적으로 카메라에서 촬영한 JPEG 파일에는 양방향 필터가 적용됩니다 . 이 필터는 가장자리와 같은 대비가 강한 특징 부근의 이미지는 선명하게 하고, 다른 부분의 노이즈는 줄여 흐릿하게 만듭니다. 이로 인해 이미지가 실제보다 더 많은 정보를 담고 있는 것처럼 보이게 됩니다. 이는 기존의 SNR 측정값(평면 패치를 이용한 측정)을 개선하는 동시에 실제로는 정보를 제거하는 결과를 초래합니다. 양방향 필터가 적용된 이미지는 C 값을 합리적으로 근사할 수는 있지만, 이미지 정보량 측정( SNRi 등)에는 사용해서는 안 됩니다. 본 논문에서는 양방향 필터가 적용된 이미지를 식별하는 방법을 제시합니다.

2000년부터 ISO 12233 표준에 포함된 경사 모서리 방식의 MTF 계산법에 대한 요약입니다 .

• 경사진 모서리를 가진 관심 영역(ROI)에서 각 스캔 라인 y _l ( x )의 중심을 찾습니다.
• 중심점에 다항식 곡선을 맞춥니다.
• 중심 위치를 기준으로 해당 품목의 내용물을 네 개의 칸 중 하나에 넣으세요.
• 빈들을 인터리빙하여 4배 오버샘플링된 평균 에지를 생성하는데 , 이는 개별 스캔 라인보다 노이즈가 적습니다.
• 변조 전달 함수( MTF , 일반적으로 공간 주파수 응답( SFR )과 동의어)는 평균화된 에지를 미분하여 선 확산 함수(LSF)를 얻고, LSF에 윈도우 함수를 적용한 다음 푸리에 변환을 취함으로써 계산됩니다. MTF는 푸리에 변환의 절댓값을 0주파수에서 1(또는 100%)로 정규화한 값입니다.

소음을 측정하는 두 단계

경사진 모서리가 있는 경우 노이즈는 두 단계로 측정됩니다. 첫째, 공간적으로 의존하는 노이즈 전력 N ( x ) 는 ROI 내 각 스캔 라인의 제곱을 합산하여 계산됩니다. 대부분의 경우, 이를 통해 N ( x ) 의 피크 존재 여부를 이용하여 비균일 이미지 처리(예: 양방향 필터링)가 적용되었는지 판단할 수 있으며, 비균일 처리가 적용된 경우에도 정보 용량 C 를 근사적으로 계산할 수 있습니다.

두 번째 단계에서는 아래에서 설명하는 노이즈 이미지로부터 노이즈 전력 스펙트럼( NPS ( f )) 을 계산합니다. 이 단계는 양방향(비균일) 필터링된 이미지에는 적용되지 않습니다. 이 단계는 노이즈의 특성을 완벽하게 파악합니다. 혼동을 방지하기 위해 두 단계를 설명합니다.

1단계 , 공간적으로 의존하는 노이즈 N ( x ) 의 에지 분산 계산은 최초로 개발되어 Electronic Imaging 2023에서 소개되었습니다. 이 방법은 모든 유형의 이미지 처리에 대한 정보 용량 C 의 초기 계산을 가능하게 합니다. 카메라 내 JPEG에서 흔히 볼 수 있는 양방향(비균일) 처리는 N ( x ) 의 피크로 식별할 수 있습니다.

2단계 인 노이즈 이미지 계산에서는 노이즈 전력(위너) 스펙트럼 NPS ( f )를 측정하며, 이는 ∫ N ( x ) dx를 사용하여 정규화해야 합니다. 이를 통해 노이즈를 완벽하게 특성화하고 NEQ ( f ), SNRi , 에지 위치 표준 편차 ( σ )(1/ 에지 SNRi) 를 포함한 이미지 정보 지표를 계산할 수 있습니다. 이 방법은 최소한으로/균일하게 처리된 이미지에만 유효합니다.

정보 용량 보고를 위해 현재로서는 2단계 결과를 권장합니다. 이 결과는 올바른 노이즈 스펙트럼 NPS ( f )를 사용하기 때문에 더 정확하지만, 균일하게 또는 최소한으로 처리된 이미지에만 유효합니다 . NPS 가 평탄(흰색) 이라고 가정하는 1단계 결과는 양방향 필터링된 이미지(소비자용 카메라의 대부분 JPEG 이미지)의 성능에 대한 유용한(완벽하지는 않지만) 근사치를 제공합니다.

A: 에지 분산 노이즈 계산

요약: 스캔 라인의 제곱을 합산하여 에지 분산을 구한 다음, 이를 사용하여 초기 정보 용량을 계산합니다. 

에지 분산 정보 용량 계산에 대한 자세한 내용은 백서 " 새로운 경사 에지 이미지 품질 측정: 에지 분산 계산" 과 Electronic Imaging 2023 논문 " 경사 에지를 이용한 카메라 정보 용량 측정 "에 설명되어 있습니다 .

계산은 일반적으로 4:1 대비 차트(2:1~10:1 대비 차트도 허용됨)에서 생성된 비스듬한 모서리 이미지 ( 아래에 표시된 원래 ROI )로 시작됩니다. 위에서 설명한 비닝/합산 외에도 스캔 라인의 제곱을 합산합니다. 이를 통해 신호 의존성 잡음 전력 N ( x ) 에 해당하는 모서리의 분산 _σs² ( x ⁾ 를 계산할 수 있습니다.

샤넌-하틀리 방정식 N (x) = _σs² ( x ⁾ 에서 잡음 전력과 전압 _σs ( x )는 중요합니다. 왜냐하면 대부분의 소비자용 카메라의 JPEG 이미지를 포함한 많은 이미지에는 양방향 필터가 적용되어 있기 때문입니다. 이 필터는 가장자리와 같은 선명한 영역 근처에서는 이미지를 선명하게 하여(잡음 증폭) 다른 영역에서는 흐리게 하여(가시적인 잡음 감소) 표시합니다. 이로 인해 가장자리의 잡음이 가려지는데, 이는 시스템의 성능과 정보 용량에 매우 중요합니다. 새로운 기술은 가장자리 근처의 신호 의존적 잡음을 가시화하여 정보 용량 계산에 활용할 수 있도록 합니다. 또한 매우 편리합니다.

N 의 선택은 이미지 처리에 따라 달라집니다. 크게 두 가지 유형이 확인되었습니다.

1. 균일하게 또는 최소한으로 처리된 이미지 , 흔히 RAW 파일에서 TIFF로 변환된 이미지(raw→TIFF)로, 양방향 필터링이 적용되지 않은 경우를 말합니다. 즉, 선명도 향상이나 노이즈 감소가 전혀 적용되지 않았거나 균일하게만 적용된 이미지입니다. 머신 비전/인공지능용 카메라 대부분이 이 범주에 속합니다.
   
   노이즈는 x 에 대한 매우 불규칙적인 함수일 수 있으므로 안정적인 N 값을 얻으려면 큰 영역 크기가 필요합니다 . 우리는 ROI 내의 모든 x 값에 대해 평균을 냅니다 .
   ROI 내의 모든 x 값에 대해.
   
   
2. 양방향 필터링된 이미지에는 일반 소비자용 카메라의 JPEG 이미지 대부분이 포함됩니다.
   
   양방향 필터는 가장자리와 같은 대비가 강한 특징 부근의 이미지를 선명하게 하지만, 그 외 부분은 흐리게 하여 노이즈를 줄입니다. 이로 인해 가장자리 부근에 노이즈 피크가 발생합니다(아래 왼쪽). 흐림 효과는 신호 대 잡음비(SNR)를 향상시키지만, 정보 손실을 초래합니다. 따라서 가장자리 부근의 노이즈는 카메라 성능에 큰 영향을 미칠 수 있으며, N 값을 계산할 때 높은 가중치를 부여해야 합니다. 이러한 노이즈 피크의 존재는 오래전부터 알려져 있었지만, 본 방법이 개발되기 전까지는 쉽게 관찰할 수 없었습니다.
   
   _초기 정보 용량 C 를 계산하기 위해, 우리는 피크에서의 전압 제곱 σ 를 사용하며, 들쭉날쭉함을 제거하기 위해 (길이 PW 20/2의 직사각형 커널로) 평활화합니다. 이는 다소 임의적인 선택이지만 비교적 일관된 결과를 도출합니다 . 이 방법은 균일하게 처리된 이미지에서도 작동하지만 결과의 정확도는 떨어집니다.
   
   Imatest를 사용하면 노이즈 N 의 계산 방식을 선택할 수 있습니다. _균일 노이즈 , _양방향 노이즈 또는 피크 존재 여부에 따라 자동으로 감지하는 방식 중에서 선택할 수 있습니다. 

샤넌-하틀리 방정식의 신호 전력 S는 피크 대 피크 진폭이 _VPP 인 균일 분포 신호의 평균 신호 진폭입니다. — 위에서 제시된 섀넌-하틀리 방정식을 사용하여 정보 용량을 계산할 때 사용하기에 적절한 수치이며, 이 방정식은 평균 신호 전력을 필요로 합니다. .

새로 발견된 비닝 노이즈를 제거하고, 노이즈 전력 계산을 선택하고, 사각파인 에지 신호 레벨을 조정하여 "평균" 신호를 더 잘 나타내도록 한 후, 샤넌-하틀리 방정식(위 참조)에 값을 입력하여 차트 대비에 대한 정보 용량을 계산합니다.

대역폭 W 는 항상 0.5 사이클/픽셀(나이퀴스트 주파수)입니다. 나이퀴스트 주파수 이상의 신호는 정보 내용에 기여하지 않으며, 오히려 에일리어싱(모아레와 같은 실제 이미지를 방해할 수 있는 저주파 잡음 신호)을 유발하여 정보 내용을 감소시킬 수 있습니다. 주파수 의존성은 MTF ( f ) 에서 비롯됩니다.

S _avg ( f ) , N , 및 W 는 정보 용량 C를 얻기 위해 Shannon-Hartley 방정식에 입력됩니다.

에지 분산 방법의 주요 결과는 다음과 같습니다.

C _4EV는 4:1 명암비의 경사진 가장자리를 측정한 직접적인 결과입니다. 이는 신호가 피크 대 피크 측정값에 걸쳐 균일하게 분포하고 잡음 전력 스펙트럼 밀도(NPD)가 평탄하다는 몇 가지 가정을 사용하여 섀넌-하틀리 방정식으로부터 계산됩니다. C ₄ C _n은 n :1 대비비(ISO 표준 4:1을 강력히 권장)에 대한 C n의 특수한 경우입니다. C _n은 차트 대비비와 노출에 민감하므로 노출에 따른 성능을 측정하는 데 유용합니다.

( 부록 2 에서 유도된) C _maxEV는 C ₄ (4:1 대비 차트 기준)부터 시작하는 카메라의 최대 정보 용량을 훨씬 더 안정적으로 측정하는 값입니다. 또한, 적어도 노이즈가 신호 전압의 알려진 함수인 선형 센서의 경우 노출에 영향을 받지 않습니다.

다음은 에지 분산 분석 방법의 주요 결과입니다. (이 이미지는 최소한의 처리만 거쳤습니다.)

B. 노이즈 이미지 계산

요약: 원본 이미지에서 저잡음 역투영/분할된 ROI 이미지를 빼서 잡음 이미지를 얻고, 이 잡음 이미지를 사용하여 잡음 전력 스펙트럼( NPS ) 및 여러 추가 측정값을 계산합니다.

이 단계는 노이즈의 특성을 완벽하게 파악합니다.

노이즈 이미지 계산은 노이즈 계산의 두 번째 단계입니다. 이 단계는 노이즈를 완벽하게 특성화하며, 정보 용량 및 관련 성능 지표( 이미지 정보 측정 지표 라고 함)를 계산하는 데 사용됩니다.

이 계산은 ISO 12233 비닝 절차를 역으로 수행하는 것을 포함합니다. 4배 오버샘플링된 에지는 각각 원본 이미지에서 추출한 평균화된(잡음이 감소된) 신호를 포함하는 4개의 빈의 내용을 인터리빙하여 생성되었으므로, 각 스캔 라인의 내용을 해당 인터리빙으로 설정하기 위해 비닝 알고리즘의 역을 적용합니다( 아래의 역 비닝된 ROI 참조 ). 역 비닝된 이미지는 원본 이미지의 거의 잡음이 없는 복제본이므로, 원본 이미지에서 역 비닝된 이미지를 빼서 잡음 이미지를 생성할 수 있습니다. 이 이미지는 평균값(0)이 중간 회색이 되도록 조정되어 아래 오른쪽의 잡음 이미지 ROI 로 표시됩니다.

노이즈 이미지는 원본 이미지에서 역투영된 이미지를 빼서 생성할 수 있으며, 이때 가장자리 방향을 따라 발생하는 불균일성을 보정합니다. 아래에 세 개의 이미지가 나와 있습니다. 평균값이 0인 노이즈 이미지(오른쪽 아래)는 표시를 위해 밝기를 높이고 대비를 강화했습니다. 세 이미지는 모두 선형적이므로 표시를 위해 감마 곡선을 적용했습니다.

원래 ROI

역방향 빈/디인터리브/ 역투영 ROI

노이즈 이미지 ROI

이러한 이미지를 통해 의료 영상 시스템에서 잘 알려져 있고 Ian Cunningham과 Rodney Shaw의 훌륭한 리뷰 논문 [ 4 ]에 설명된 노이즈 전력 스펙트럼 및 노이즈 등가 양자를 포함한 몇 가지 주요 이미지 품질 매개변수를 계산할 수 있습니다. 이러한 측정값은 측정하기 어려웠기 때문에 의료 영상 분야 외에는 잘 알려져 있지 않습니다.

잡음 전력 스펙트럼(NPS)

( 잡음(전압) 스펙트럼 의 제곱 )은 잡음 ROI(관심 영역)의 2D 푸리에 변환을 취하고 초기 2D 스펙트럼의 중심이 이미지 중앙에서 0 주파수를 갖는다는 점을 이용하여 계산됩니다. 정규화되지 않은 1D 잡음 전력 스펙트럼 NPS _U ( f ) 는 2D 스펙트럼을 여러 개의 환형 영역(영역 수는 ROI 크기에 따라 다르며, 일반적으로 6~10개)으로 나누고 각 영역의 평균 잡음 전력을 취하여 계산합니다. 이 변환을 통해 수직 및 수평 MTF가 유사하다는 가정 하에 2차원이 아닌 1차원에서 계산을 수행할 수 있습니다. 잡음 전력 스펙트럼은 정규화 상수 _cN 으로 정규화해야 합니다. .

NPS 와 노이즈 이미지 분산 간의 관계는 Cunningham 및 Shaw [ 4 ]의 방정식 (3) 및 (8)에 나와 있으며, 우리는 이를 1차원으로 축소하고 적분 범위를 {-∞,∞}에서 {0, f _Nyq }로 변경했습니다. 여기서 f _Nyq 는 나이퀴스트 주파수 = 0.5 사이클/픽셀입니다. 파르세발 정리를 적용한다고 가정하면,

위에서 설명한 1차원 푸리에 변환은 위의 방정식과 일치하도록 스케일링되어야 합니다.

잡음 등가 양자(NEQ)

의료 영상 분야에서는 잘 알려진 성능 지표이지만 일반 영상 분야에서는 생소합니다. 2016년 Brian Keelan의 논문[ 5 ]에서 설명되어 있습니다. 기본적으로 주파수에 따라 달라지는 신호 대 잡음비(전력비)입니다. 단위는 광자 샷 노이즈가 지배적일 때 측정된 SNR을 생성하는 데 필요한 양자 수에 해당합니다.

여기서 평균 선형 신호는,  μ 는 NEQ를 어떻게 해석하느냐에 따라 두 가지 방식으로 정의될 수 있습니다.

NEQ를 DQE (디지털 양자 효율) 계산에 사용하려면, , 그 다음에  μ는 원본 이미지에서 선형화된 신호 전압의 평균값이어야 합니다 . DQE를 측정하려면 각 픽셀에 도달하는 양자 수의 평균값을 별도로 측정해야 합니다. 이 기능은 향후에 추가할 수 있습니다.

NEQ의 의미와 사용법을 익히는 데는 시간이 좀 걸릴 것입니다. Tang et al.의 "기존 CT와 비교한 차등 위상 대비 CT의 영상 성능 특성화: 잡음 등가 양자 NEQ(k) 스펙트럼"은 의료 영상에서 NEQ가 어떻게 사용되는지 보여주는 훌륭한 예입니다. 이 논문은 실질적인 기술적 깊이를 가지고 있습니다.

NEQ의 정보 용량:

NEQ 의 특수한 형태인 NEQ _정보 ( f ) 는 다음을 사용하여 계산됩니다. 는 섀넌-하틀리 방정식의 특수한 경우를 이용하여 정보 용량( C _NEQ) 을 계산하는 데 사용됩니다. NEQ _정보는 그래프에 표시되지 않습니다.

여기서 대역폭 W 는 카메라의 나이퀴스트 주파수입니다. [저자 주: 저는 이 연관성을 발견했다고 생각했지만, Christos Michail 등 이 PET 스캐너와 디지털 유방촬영술에 대해 발표한 논문[ 6,7 ]에 나와 있습니다. 의료 영상 분야 외부의 사람들이 우연히 접할 가능성이 거의 없는 논문입니다.]

이상적인 관측자 신호 대 잡음비(SNRi)

작은 물체의 탐지 가능성을 측정하는 것입니다. 이는 Paul Kane [ 8 ] 및 Orit Skorka와 Paul Kane [ 9 ]의 논문에 설명되어 있습니다.

[8]은 1차원의 SNRi 방정식을 제시하지만 상당한 노력을 기울인 결과, [9]의 2차원 방정식이 정확한 결과를 제공한다는 것을 확인했습니다.

G ( ν _x ,ν _y ) ² 는 μ ² ΔS ² ( ν _x ,ν _y )와 동일합니다.  MTF ( ν ) 와 NPS(ν) 는 1차원에서 정의되며, 공간 주파수는 입니다. 단위는 Cycles/Pixel이며, 선형화된 신호는 최대값 1로 정규화됩니다.

검출 대상은 일반적으로 가로세로 길이 w × 세로 길이 k의 직사각형이며, 여기서 k = 1(정사각형의 경우) 또는 가로세로 비율이 1×4인 직사각형의 경우 k = 4입니다. (초기 분석을 위한) 진폭은 경사진 모서리의 피크 대 피크 전압입니다( 위의 전압 통계 그림 참조). 이는 일반적으로 4:1의 명암비를 가진 차트에서 얻을 수 있습니다.

,

여기서 rect( x ) = 1은 -1/2 < x < 1/2이고, 0은 그렇지 않습니다.

G ( _νx , _νy ) 는 검출 대상 객체 Δg ( x , y ) 의 푸리에 변환입니다. 이는 2차원으로 표현됩니다.

SNRI ^2는 x축에 _νx , y축에 _νy를 갖는 2차원 주파수 배열(0~0.5 c/p, 51단계)을 생성하고, 이를 채워 수치적으로 계산됩니다. 이러한 주파수는 수치적으로 합산할 수 있는 2D 배열을 생성하는 데 사용됩니다[9].

SNRi는 너비 w가 1에서 10까지인 각 색상 채널에 대해 표시됩니다. 작은 객체를 강조하는 최신 값은 w = 1, 1.2, 1.4, 1.7, 2, 2.5, 3, 4, 7, 10입니다. 너비가 10보다 큰 객체는 이전에도 분석되었지만 시스템 성능에 대한 통찰력을 거의 제공하지 않습니다.

객체 가시성

SNRi 측정의 목표는 작고 대비가 낮은 정사각형 또는 4:1 직사각형에 대한 객체 가시성을 예측하는 것입니다. SNRi 예측은 시각적 확인을 필요로 합니다. 이를 수행할 수 있는 시뮬레이션 이미지는 고전적인 SNRi 논문[8]의 그림 3에 나와 있습니다.

저희는 실제 기울어진 가장자리 이미지와 약간의 속임수를 이용해 Imatest에서 이를 구현하는 디스플레이를 개발했습니다. 이러한 속임수에도 불구하고 데이터는 획득한 이미지에서 직접 가져온 것입니다.

상대적으로 노이즈가 적은 이미지와 노이즈가 많은 이미지, 두 가지 결과 세트를 제시합니다(두 이미지 모두 마이크로 포서드 센서를 사용하는 카메라로 각각 ISO 100과 12800에서 촬영). 정사각형의 변의 길이는 w = 1, 2, 3, 4, 7, 10, 14, 20픽셀입니다. 원본 차트는 4:1의 명암비(밝은 부분/어두운 부분 = 4)를 가지며, 이는 미켈슨 대비 C Mich ((밝은 부분-어두운 부분)/(밝은 부분+어두운 부분))가 0.6에 해당합니다. 바깥쪽 정사각형의 C Mich 는 0.6이고, 가운데 정사각형과 안쪽 정사각형의 C Mich 는 각각 0.3과 0.15입니다.

이 이미지 사용 방법 — 여백 근처의 눈에 잘 띄지 않는 마젠타색  막대는 보기 어려운 작은 사각형을 찾는 데 도움이 되도록 설계되었습니다. 노란색 숫자는 사각형의 픽셀 단위 너비입니다. SNRi 곡선(최소한 초기에는)은 차트 대비를 나타내며, 4:1(ISO 12233 표준)을 강력히 권장합니다. 바깥쪽 패치는 SNRi 곡선에 해당하며, Rose 모델 [ 4 ]에 따르면 SNRi 5(14dB)는 가시성 임계값에 해당해야 합니다.

이 두 이미지에는 원본 픽셀만 사용되었지만, 테스트 대상 기기와 동일한 흐림 효과를 가진 테두리가 있는 사각형을 만들기 위해 약간의 속임수를 썼습니다.

오른쪽의 SNRi 곡선은 위쪽 오른쪽의 노이즈가 많은 ISO 12800 이미지에 대한 것입니다. w = 1인 사각형은 보이지 않고, w = 2와 3인 사각형은 희미하게 보이며, w = 4인 사각형은 명확하게 보입니다. 그래프에서 w = 2일 때의 SNRi는 0~5dB이고, w = 3일 때는 5~10dB입니다. 이는 가시성 임계값이 약 14dB라는 예상과 거의 일치합니다.

정사각형은 어떻게 만들어졌을까요?

1. 원본 이미지의 너비가 170픽셀 미만인 경우, 필요한 경우 이미지를 확대하여 모든 정사각형을 배치할 공간을 확보하세요. 이를 위해 이미지의 좌우에 좌우 반전된 이미지를 추가합니다. 필요한 경우, 세로로 자른 좌우 반전 이미지를 하단에 추가합니다.
2. 전체 이미지의 (수평) 대칭 이미지를 만듭니다. 이것이 "대칭" 부분입니다.
3. 주식을 이용해 마스크를 만듭니다. 배경은 0이고 사각형은 1입니다. 가장자리는 날카롭게 처리합니다.
4. MATLAB의 filter2 함수를 사용하여 사각형을 흐리게 처리합니다. 이것이 "연기" 효과 부분입니다. 흐림 커널을 결정하는 것이 어려웠습니다. 1차원 선 확산 함수(LSF)를 단순히 2차원에 적용하는 것만으로는 좋은 결과를 얻을 수 없다는 것을 알게 되었습니다. 더 복잡한 변환이 필요했습니다.
5. 두 이미지를 선형화합니다(감마 인코딩을 제거합니다).
6. 마스크를 사용하여 두 이미지를 결합합니다. 마스크 값이 0인 부분은 원본 이미지를 유지하고, 마스크 값이 1인 부분은 대칭 이미지를 사용하며, 그 외의 부분은 두 이미지를 합성합니다.
7. 감마 인코딩을 다시 적용합니다.

잡음 자기상관

아직 연구 개발 단계에 있는 이 그래프는 디모자이킹 및 고정 패턴 노이즈의 영향을 제거하고 주요 노이즈 발생원이 광자 샷 노이즈일 때 노이즈 전력 스펙트럼(및 자기상관)이 이미지 센서의 전기적 크로스토크 양을 나타낸다는 가설을 검증하기 위해 추가되었습니다. 이 가설의 핵심은 센서에 입사하는 빛이 완전히 비상관적이므로 크로스토크가 없다면 노이즈는 백색 노이즈가 될 것이라는 점입니다.

오른쪽 이미지는 화이트 밸런스가 조정되었습니다.

이 곡선은 저자가 위너-킨친 정리에 대해 제한적으로 이해한 바에 따르면, 잡음 스펙트럼의 역 푸리에 변환입니다.

오른쪽 이미지는 화이트 밸런스가 적용되지 않았습니다. 예상대로 빨간색 채널의 자기상관 거리가 다른 채널보다 더 큽니다. 이미지를 클릭하면 확대됩니다.

이미지 정역학 모듈에서 평면 필드 이미지를 사용해도 유사한 자기상관 플롯을 얻을 수 있습니다. 조명 불균일성을 보정하여 먼 거리에서의 (허위) 자기상관을 줄였습니다.

변조 전달 함수(MTF)는 약간 다르게 보입니다.
표준 MTF 플롯과 달리 y축이 로그 스케일이기 때문입니다.
순이익(NEQ) 계산에 사용됩니다.

NEQ 계산에 사용되는 정규화되지 않은 에지 전압입니다 .
각 채널의 최대 진폭을 비교하는 것은 흥미롭습니다.

섀넌 정보 용량의 의미

(백서 부록, Imatest를 이용한 정보 용량 측정 )
정보에 대한 간결한 정의를 가지고 있습니다.

전자 통신 채널에서 정보 용량은 오류 없이 채널을 통과할 수 있는 최대 정보량, 즉 채널의 "성능"을 나타내는 척도입니다. 실제 정보량은 코드, 즉 정보가 표현되는 방식에 따라 달라집니다. 하지만 코딩은 데이터 압축(이미지가 파일에 저장되는 방식)에 필수적이지만 디지털 카메라와는 관련이 없습니다. 중요한 것은 다음 가설 입니다.

가설: (잘 조정된 이미지 처리 파이프라인을 가정할 때) 인지되는 이미지 품질과 머신 비전 및 인공지능(AI) 시스템의 성능은 카메라의 정보 용량에 비례하며, 이 정보 용량은 MTF(선명도), 노이즈, 디모자이킹, 클리핑(존재하는 경우), 데이터 압축으로 인해 발생하는 아티팩트의 함수이다.

이 주장은 가설 , 즉 추측을 나타내는 수학 용어라는 점을 강조하고 싶습니다. 제 경험과 수많은 측정 결과와는 일치하지만, 더 많은 검증과 확인이 필요합니다. 이제 Imatest를 통해 정보 용량을 간편하게 계산할 수 있게 되었으므로, 이에 대해 더 자세히 알아볼 기회가 생겼습니다.

앞서 언급했듯이 정보 용량은 대역폭 W 와 신호 대 잡음비( S/N) 모두의 함수입니다.

지멘스 스타 방식과 경사 가장자리 방식 모두 신호 전력 S 와 잡음 전력 N을 동일한 위치에서 계산할 수 있다는 점이 큰 장점입니다. 이는 잡음이 일반적으로 이미지 전체에 걸쳐 일정하지 않기 때문에 매우 중요합니다.

요약

• 섀넌 정보 용량 C는 오랫동안 전자 통신 채널의 우수성을 측정하는 척도로 사용되어 왔습니다. 이는 적절한 코드를 사용하면 오류 없이 데이터를 전송할 수 있는 최대 속도를 나타냅니다(섀넌 용량에 근접하는 코드를 찾는 데 거의 반세기가 걸렸습니다). 이미지 처리에서는 코딩이 문제가 되지 않습니다. 1962년 Rodney Shaw의 논문 [ 10 ]과 1961년 R. Clark Jones의 논문[12]은 사진 필름의 C를 측정한 좋은(그리고 드문) 예입니다. 당시에는 쉬운 일이 아니었습니다.
• C 는 일반적으로 픽셀당 비트 수로 측정됩니다. 총 용량은 다음과 같습니다. .
• C 값을 계산하기 전에 채널을 선형화 해야 합니다. 즉, S 와 N 값을 정확하게 얻으려면 적절한 감마 보정( 신호 = 픽셀 레벨 감마 , 여기서 sRGB 또는 Adobe RGB와 같은 표준 색 공간 이미지의 경우 감마 ≅ 2.2)을 적용해야 합니다. 감마 값(2에 가까움)은 그레이스케일 스텝 차트를 분석하는 Imatest 모듈( Stepchart , Colorcheck , Color/Tone , Multitest , SFRplus 또는 eSFR ISO) 을 실행하여 확인할 수 있습니다. 하지만 대부분의 경우 차트 대비를 입력하고 "MTF에 사용"을 선택하면 에지 이미지에서 감마 값을 확인할 수 있습니다.
• 본 연구에서는 C 값이 카메라 품질, 특히 머신 비전 및 인공지능 카메라의 품질을 평가하는 데 유용한 지표로 사용될 수 있다는 가설을 세웠 습니다. (소비자용 카메라의 외관 품질과는 직접적인 연관이 없습니다. 소비자용 카메라는 최상의 성능을 발휘하려면 세심한 조정이 필요하기 때문입니다.) C 값은 특히 최소한의 처리만 거친 RAW 이미지를 사용할 경우, 카메라 간 비교를 위한 공정한 기준을 제공합니다.
• Imatest는 디지털 이미지의 Y(휘도) 채널에 대한 섀넌 용량 C를 계산하는데, 이는 눈의 감도를 근사적으로 나타냅니다. 또한 개별 R, G, B 채널에 대한 C 값 과 색차 채널인 C _b 및 C _r (YC _b C _r 에서 계산)에 대한 C 값도 계산합니다.
• 섀넌 용량은 계산과 해석이 어려워 사진 이미지의 특성을 분석하는 데 사용되지 않았습니다. 하지만 이제는 쉽게 계산할 수 있게 되었고, 사진 이미지 품질과의 관계에 대한 연구가 활발히 진행되고 있습니다.
• C 는 새로운 측정 방식이기 때문에 인공지능 시스템에 대한 적합성을 검증해 줄 수 있는 기업이나 학술 기관과의 협력을 희망합니다.

링크 ( 백서 에 더 많은 링크가 있습니다)

1. CE Shannon, “ 통신에 대한 수학적 이론, ” Bell Syst. Tech. J., vol. 27, pp. 379–423, 1948년 7월; vol. 27, pp.
   623~656쪽, 1948년 10월.
2. CE 섀넌, " 소음이 있는 환경에서의 통신 ", IRE 회의록, 1949년 1월, 10-21쪽.
3. 위키피디아 - 섀넌-하틀리 정리는 섀넌 방정식의 주파수 의존적 적분 형태를 가지고 있으며, 이는 Imatest의 사인 패턴과 경사 에지 섀넌 정보 용량 계산 모두에 적용됩니다.
4. IA Cunningham 및 R. Shaw, "의료 영상 시스템의 신호 대 잡음비 최적화", Vol. 16, No. 3/1999년 3월/621-632쪽/J. Opt. Soc. Am. A
5. Brian W. Keelan, "잡음 등가 양자의 이미징 응용" IS&T 국제 전자 이미징 심포지엄: 이미지 품질 및 시스템 성능 XIII , 2016, https://doi.org/10.2352/ISSN.2470-1173.2016.13.IQSP-213 .
6. Michail C, Karpetas G, Kalyvas N, Valais I, Kandarakis I, Agavanakis K, Panayiotakis G, Fountos G., 양전자 방출 단층 촬영 스캐너의 정보 용량 . Crystals . 2018; 8(12):459. https://doi.org/10.3390/cryst8120459 .
7. Christos M. Michail, Nektarios E. Kalyvas, Ioannis G. Valais, Ioannis P. Fudos, George P. Fountos, Nikos Dimitropoulos, Grigorios Koulouras, Dionisis Kandris, Maria Samarakou, Ioannis S. Kandarakis, "디지털 유방조영술의 이미지 품질 및 정보 용량 그림", BioMed Research International , vol. 2014, 기사 ID 634856, 11페이지, 2014. https://doi.org/10.1155/2014/634856 .
8. Paul J. Kane, "신호 감지 이론 및 자동차 이미징", IS&T 국제 전자 이미징 심포지엄: 자율 차량 및 기계 컨퍼런스 , 2019, pp 27-1 - 27-8, https://doi.org/10.2352/ISSN.2470-1173.2019.15.AVM-027 .
9. Orit Skorka, Paul J. Kane, "이상적인 관찰자 모델을 사용한 객체 탐지", IS&T 국제 전자 이미징 심포지엄: 자율 차량 및 기계 , 2020, pp 41-1 - 41-7, https://doi.org/10.2352/ISSN.2470-1173.2020.16.AVM-041 .
10. R. Shaw, “ 푸리에 기법과 정보 이론을 사진 이미지 품질 평가에 적용” , 사진 과학 및 공학, 제6권 5호, 1962년 9-10월, 281-286쪽. Rodney Shaw 편집, SPSE(현 SPIE), 1976년 “이미지 평가 관련 주요 논문 모음”에 재수록. 사진 필름의 정보 용량에 대한 흥미롭고도 어려운 계산. 다운로드 가능.
11. X. Tang, Y. Yang, S. Tang, 기존 CT와 비교한 차등 위상 대비 CT의 영상 성능 특성화: 노이즈 등가 양자 NEQ(k)의 스펙트럼 , Med Phys . 2012년 7월; 39(7): 4467–4482. 2012년 6월 29일 온라인 게시. doi: 10.1118/1.4730287 .
12. R. 클라크 존스, 사진 필름의 정보 용량, 미국 광학 학회지, 제51권, 제11호, 1961년 11월, 1159-1171쪽

부록 1: 정보 이론에 대한 간략한 소개

도전만큼 좋은 것도 없죠! 전자 통신 채널에는 오류 없이 채널을 통해 전송할 수 있는 최대 정보량을 정량화하는 기준이 있습니다 . 이 기준에는 선명도와 노이즈(필름의 입자)가 포함됩니다. 그리고 카메라, 또는 모든 디지털 이미징 시스템은 바로 그러한 채널입니다.

1948년 Bell Labs의 Claude Shannon *이 처음 발표한 이 측정법[ 1,2 ]은 전자 통신 산업의 기초가 되었습니다. 이를 Shannon 채널 용량 또는 Shannon 정보 용량 C 라고 하며, 보기보다 간단한 방정식을 가지고 있습니다[3]. (자세한 내용은 Shannon-Hartley 정리 에 대한 Wikipedia 페이지를 참조하십시오.)   

W  채널 대역폭입니다.  S ( f )  는 평균 신호 에너지(신호의 제곱)입니다.  전압은 MTF ( f ) ^² 에 비례하며, N ( f ) 는 평균 잡음 에너지(RMS 잡음 전압의 제곱)로 필름 내 입자에 해당합니다. 보기에는 간단해 보이지만( E = ^mc² 보다 약간 더 복잡할 뿐 ), 실제로 적용하기는 쉽지 않습니다.

클로드 섀넌은 진정한 천재였습니다. 그의 저서 " 클로드 섀넌과 함께한 1만 시간: 천재의 사고, 작업, 그리고 삶의 방식 "은 꼭 읽어볼 만한 가치가 있습니다. 뉴요커 와 사이언 티픽 아메리칸 에도 그에 대한 좋은 기사들이 실려 있습니다. IEEE에서는 섀넌과 머신러닝 및 인공지능의 발전을 연결하는 논문을 발표 하기도 했습니다. 특히 제가 이전 직장에서 자주 방문했던 캘리포니아 대학교 샌디에이고 메모리 및 기록 연구 센터 에서 제작한 29분짜리 영상 "클로드 섀넌 - 정보 시대의 아버지"는 제게 매우 흥미롭습니다.

부록 3. 노이즈 분류 양자화 노이즈와 동일한 통계적 특성을 갖는 비닝 노이즈는 ISO 12233 비닝 알고리즘에서 최근에 발견된 인공적인 현상입니다. 이 노이즈는 이미지 전환 영역, 즉 선 확산 함수(LSF)가 가장 큰 영역에서 가장 크게 나타납니다. 이는 최대값이며 정보 용량 측정에 영향을 미칠 수 있습니다. 이러한 현상은 개별 스캔 라인이 스캔 라인의 중심 위치에 대한 다항식 적합(연속 함수)을 기반으로 네 개의 빈 중 하나에 추가되기 때문에 발생합니다. n개의 동일한 신호 μs ( x )가 {-Δ/2, Δ/2} 구간으로 비닝된다고 가정해 보겠습니다. 여기서 Δ = 1은 비닝 알고리즘의 4배 오버샘플링된 출력에서 성립합니다(Δ = (원래 픽셀 간격)/4). 비닝 노이즈가 없다면 비닝 노이즈 전력 σBnoise2 는 0이 될 것으로 예상됩니다. 그러나 μs ( xk ) 값은 구간 Δ에 걸쳐 균일하게 분포된 위치 xk 에서 합산되므로, 다음과 같은 값을 갖습니다. 선 확산 함수 LSF (x)의 경우, δ가 {-1/2, 1/2}에 걸쳐 균일하게 분포되어 있음을 고려하여 균일 분포의 분산 에 대한 방정식( 양자화 잡음 과 유사)을 적용하면 다음과 같습니다. . 이 방정식에는 몇 가지 근사치가 포함되어 있지만, 보정된 잡음을 계산하는 데 좋은 결과를 얻었습니다. 비닝 노이즈는 기존 MTF 계산에 영향을 미치지 않습니다. 비닝 노이즈는 양방향 필터링(비균일 선명도 향상)이 적용된 JPEG 파일에도 영향을 미칩니다. 이를 제거하면 계산의 안정성이 향상됩니다.