奈奎斯特频率、混叠和彩色莫尔纹

虽然清晰度是图像质量的重要因素,
更锐利的镜头并不总是更好。

镜头的锐度可能过高,超出传感器的处理能力,从而导致令人不适的视觉瑕疵。

这些伪影,包括“阶梯状”和莫尔条纹(一种低频图案,可能呈现强烈的色彩),之所以会出现,是因为数码相机——以及所有数字采样系统——都存在一个最大空间频率,称为奈奎斯特频率。超过这个频率,场景信息就无法被正确再现。任何高于奈奎斯特频率的信息到达传感器后都会被“混叠”到较低的空间频率,从而导致下文所述的伪影。

样本由维基百科提供

采样

数字采样——将连续的模拟信号转换为离散的数字信号——涉及两个操作。

奈奎斯特采样定理

奈奎斯特采样定理指出,如果以采样率d<sub> scan</sub>对信号进行采样,并在截止频率f<sub> C</sub> 处进行严格的带限采样(f<sub>C </sub> 不高于d<sub> scan</sub> / 2),则可以精确地重构原始模拟信号。频率f <sub>Nyq</sub> = d <sub>scan</sub> / 2 称为奈奎斯特频率。根据定义, f <sub>Nyq</sub>始终为 0.5 周期/像素。

奈奎斯特频率可以理解为每个周期有两个采样点的频率。

较低频率(每个周期超过两个样本)可以精确重现,但较高频率则不能。

重建原始信号的(技术性)数学公式可以在维基百科上找到。它涉及到 sinc (sin(x)/x) 函数,而该函数通常不用于数字成像。 

第一个传感器零点(信号完整周期覆盖一个采样点的频率,因此无论相位如何,该频率都必须为零)是奈奎斯特频率的两倍。这意味着图像传感器在奈奎斯特频率及以上频率处可能具有较高的平均灵敏度(所有采样相位的平均值),这可能会导致明显的可见伪影。

别名

高于奈奎斯特频率 fN 的信号能量会发生混叠——表现为重复模式中人为降低的频率信号,通常以莫尔条纹的形式出现。在非重复模式中,混叠表现为锯齿状的对角线——“锯齿”或“阶梯状”(一种较轻微的图像劣化形式)。下图展示了高于奈奎斯特频率的响应如何导致混叠。

别名示例
信号(3 f Nyq  /2)                         
传感器像素 
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
 
响应( f Nyq  /2)                         

在这个简化的例子中,传感器像素在中间一行显示为粉色和青色交替的区域。根据定义,奈奎斯特频率为 2 个像素内 1 个周期 = 0.5 个周期/像素。信号(顶行;4 个像素内 3 个周期)是奈奎斯特频率的 3/2,但传感器响应(底行)却是奈奎斯特频率的一半(4 个像素内 1 个周期)——频率错误。它发生了混叠。

图像传感器对高于奈奎斯特频率的信号有响应——MTF非零,
但由于存在混淆,这不是一个好的响应。

在采用拜耳彩色滤光片阵列的数码相机中——传感器上交替排列着RGRGRG和GBGBGB滤光片——这个问题会更加严重,因为相同颜色像素之间的间距远大于最终图像中像素之间的间距,尤其是在红色和蓝色通道中,它们的奈奎斯特频率只有整幅图像的一半。这会导致彩色摩尔纹的出现,在织物等重复图案上尤为明显。去马赛克程序(用于填充原始图像中缺失颜色的程序)使用复杂的算法,根据其他颜色的细节来推断每种颜色中缺失的细节。这些算法会对彩色摩尔纹产生显著影响。

拜耳彩色滤光片阵列(CFA)拜耳 CFA

许多数码相机传感器——尤其是老式可更换镜头相机——都配备了抗锯齿滤波器或光学低通滤波器 (OLPF),以降低奈奎斯特频率以上的响应。抗锯齿滤波器会使图像略微模糊,即降低分辨率。光学器件中不像电子器件那样存在锐利的截止滤波器,因此会残留一些锯齿,尤其是在使用高锐度镜头时。抗锯齿滤波器的设计需要在锐度和锯齿之间进行权衡(同时还要考虑成本)。

严重的锯齿现象。早已停产的1400万像素柯达DCS 14n(首款全画幅24x36mm数码单反相机)没有配备抗锯齿滤镜。搭配锐利镜头时,其MTF响应远超奈奎斯特频率。正如Sergio Lovisolo提供的这张MTF测试图所示,14n在奈奎斯特频率附近(63 lp/mm)的表现非常糟糕。这种色彩摩尔纹现象极其严重。这款相机主要面向婚纱摄影市场,婚纱上的摩尔纹让许多顾客非常不满:这对摄影师和柯达来说都是损失。

彩色莫尔条纹示例

近期推出的3000万像素以上(全画幅传感器)的数码单反相机,其像素尺寸足够小,因此摩尔纹现象很少会造成困扰(至少在非重复图案上是如此)。这些相机没有低通滤波器,因此图像质量的提升幅度远超单纯像素数量增加所带来的预期。

适马数码单反相机使用的Foveon传感器在每个像素点上都能感知所有三种颜色。它也没有低通滤波器,因此在奈奎斯特频率下可以拥有很高的调制传递函数(MTF),但由于它是单色的而非彩色的,所以锯齿现象不太明显。

彩色波纹

彩色摩尔纹是一种人为造成的色带,会出现在具有高空间频率重复图案的图像中,例如织物或栅栏。右侧的示例是佳能 Rebel XT(一款较老的 APS-C 画幅数码单反相机,像素相对较大)搭配其优秀的套机镜头拍摄的衬衫细节图。

如下所述,彩色摩尔纹是采用拜耳彩色滤光片阵列的图像传感器中混叠现象造成的。要点:

  • 当图像能量显著高于传感器奈奎斯特频率(整个图像为 0.5 周期/像素,但单独考虑红色和蓝色通道时仅为 0.25 周期/像素)时,就会出现彩色摩尔纹。
  • 它受镜头锐度和抗锯齿(低通)滤波器(如果存在,则会柔化图像)的影响。先进的去马赛克软件可以改善锯齿伪影,而锯齿伪影在锐度最高的镜头上往往最为严重。
  • 在红色和蓝色通道上最为明显。
  • 应该在图像中心附近测量彩色莫尔条纹,因为镜头在该处往往最清晰,横向色差(可以模拟彩色莫尔条纹)最小。

佳能 Rebel XT 相机中的彩色摩尔纹

颜色波纹示例:用以下方法拍摄的织物
佳能 Rebel XT 和套机镜头

最棒的教育应用

Imatest 包含一系列教育应用程序,可让您可视化采样定理以及其他几个概念,例如 MTF 和锐化。

要打开教育应用程序,

Imatest教育应用程序,用于阐释抽样定理。
您可以使用滑块调整频率和相位。

通过调整频率,您可以观察到混叠现象(输出信号频率低于输入信号)是如何在频率 = 1x(0.5 周期/像素)时开始出现的。在频率设置为 1x 的情况下调整相位,可以显示输出信号的相位敏感性,其幅度从最大值变化到零值。

这款教育类应用有助于理解抽样定理和混叠现象。不妨试试。

混叠对MTF测量的影响

强混叠是指镜头在远超数据可重建最大频率(奈奎斯特频率, f <sub>Nyq</sub> = 0.5 C/P)的范围内仍具有显著响应。它会导致阶梯状伪影和莫尔条纹,这对应于f > f<sub> Nyq </sub> 时 MTF 的增强。由强混叠引起的极端伪影会使测量结果无效——它们没有任何实际意义。当f <sub>Nyq</sub>处的 MTF 大于约 0.20 或 0.25 时,混叠会对性能产生显著影响。

右侧的图像远超上述情况。它既有极度锐化(标准锐化,半径 = 2——比“锐化”页面上的任何示例都更强),又有极度锯齿。因此,测量得到的 MTF 汇总指标几乎毫无意义。以下是一些说明。

  • 过度混叠(能量高于f Nyq )意味着镜头性能过强,与传感器不匹配。除了导致混叠外,这通常也意味着镜头价格过高。或者传感器的像素尺寸过大(且数量不足)。无论哪种情况,系统都未达到最佳状态:镜头和传感器不匹配。
  • 过度锐化(表现为从f = 0 开始 MTF 值迅速增加)通常会提升 MTF50 等综合指标,但标准锐化的周期性会导致这些综合指标出现不可预测的变化。它还会造成空间域伪影,例如边缘附近的“光晕”,这些伪影在小尺寸图像(例如手机屏幕)上可能看起来不错,但在大尺寸图像上则不然。过度锐化通常不会提升图像信息容量及相关指标。
  • 当f > f Nyq时检测到过多的能量,我们需要添加一个警告。
MTF 适用于具有极端锯齿(表现为“阶梯状”)和锐化(表现为边缘附近的“光晕”)的边缘。循环 MTF 响应在锐化示例中进行了解释。

斜边MTF——为什么它不能说明全部问题

原始波带片图案仅由同心圆组成。其余部分均为莫尔条纹,这是由于在未进行抗锯齿处理(低通滤波)的情况下对原始图案进行采样而产生的。

得益于ISO 12233 分箱算法,倾斜边缘可以测量奈奎斯特频率以上的系统响应。  ( f Nyq = 0.5 周期/像素) 。正如我们所展示的,高于f Nyq的响应会导致混叠伪影,例如莫尔条纹,但 MTF 测量存在一些局限性——特别是倾斜边缘 MTF 测量,这是 Imatest 的首选方法(在大多数情况下),因为它速度快且空间利用率高。

局限性在于

在波带板图案(一种可以用Imatest测试图表模块创建的最坏情况图案)上,莫尔条纹非常明显,但波带板不适合进行定量测量。

由于MTF测量值与可见混叠现象难以直接关联,因此高于奈奎斯特频率的强MTF响应仅应被视为混叠可能存在的警告信号,需要进一步探究。它并非混叠的明确指标。下文列出了用于直接测量混叠效应的Imatest技术。

楔形

楔形图(由Imatest 的Wedge和eSFR ISO模块分析)能够提供最佳的混叠视觉指示和测量结果。楔形图可用于计算

在旧版 ISO 12233:2000 图表中,可以使用楔形模块手动选择楔形,但我们不建议这样做,因为它很不方便。(而且,当前的 ISO 12233:2014+ 标准也不推荐使用旧版图表)。我们强烈建议使用eSFR ISO图表和模块。  它符合现行标准,能够自动检测楔形和其他特征。除了色彩混叠之外,它还能测量众多图像质量因素(MTF、横向色差、色彩、色调响应、噪声、信噪比等)。楔形和 eSFR ISO 模块的楔形莫尔条纹图完全相同。以下展示了 eSFR ISO 的结果。

楔形莫尔条纹图

下图所示的楔形莫尔条纹图显示了平均 CIELAB 色度 ( )在楔形区域内测量,作为空间频率的函数。下表列出了其他几个与颜色混叠相关的指标。

要获得下图,请获取 eSFR ISO 图表图像,然后按照此处的说明运行eSFR ISO 设置程序。eSFR ISO 也可以在支持批量处理的自动模式下运行。在“显示”下,选择“18. 楔形莫尔纹” 。

旧款 iPhone 出现严重色彩锯齿(CIELAB 色度)问题。
图片中的色度已增强。

图中曲线是所选指标的平均值( 在这种情况下),取自楔形内部,如下图所示。

楔形区域的一部分(由上方色度增强图像放大而来)。空间频率从左到右递增。
每个频率的度量是通过对楔形区域内的参数(例如:|RB|)进行平均得到的。

下表列出了可用的指标,这些指标可在下方“显示”图像右侧的“莫尔条纹”下拉菜单中选择。仅推荐使用其中三个指标:其他指标仅供参考或用于实验。每个指标的最大值显示在图表的左上角(如上图所示)。所有指标的最大值均可保存为 JSON 和 CSV 结果文件。以下是指标列表,重点介绍推荐指标。

mean(|RB|)这是一个很好的指标,因为红色和蓝色通道最容易受到颜色锯齿的影响。
mean(|RB|) / mean(R,B)由于已根据 R 和 B 的平均值进行了归一化,因此稳定性略高。
mean(|RG|)这些指标可能值得研究,但它们往往不如 RB 指标敏感,因为绿色 (G) 通道的奈奎斯特频率较高。
mean(|RG|) / mean(R,G)
mean(|GB|)
mean(|GB|) / mean(G,B)
S(HSL)不建议使用这些饱和度指标,因为它们在低水平(L 或 S)下可能具有较大的值,从而产生误导。这些指标可能不会被保留。
S(HSV)
色度CIELAB 色度, 这是主要的(推荐的)颜色锯齿指标。

颜色锯齿度量

颜色锯齿指标是 Imatest 5.1.12 版本(2018 年 10 月发布)新增的功能。在此版本之前,颜色指标与图像外观的相关性较差。要显示的指标在“显示”下方的“莫尔条纹”下拉菜单中选择。

在计算颜色混叠指标之前,每个楔形区域都会进行白平衡处理。这些指标在楔形区域内计算。为了获得一致的结果,建议使用平滑处理(内核宽度为 0.01 周期/像素)。颜色莫尔条纹指标在“莫尔条纹”下拉菜单中选择。我们主要推荐的指标是色度 (sqrt(a*^2 + b*^2))。这是 CIELAB 色度的平均值, C = sqrt( a * 2 + b * 2 )。其他有用的颜色混叠指标包括 mean(|RB|) 和 mean(|RB|) / mean(R,B)。|RB| 很有用,因为红色和蓝色比绿色更容易受到混叠的影响。

点击“保存数据”(或勾选相应复选框运行 eSFR ISO 安装程序)会将数据保存到 CSV 和 JSON 文件。以下是颜色锯齿汇总指标的 JSON 输出示例(上表中显示了每个指标的最大值)。推荐指标以粗体显示。

"color_aliasing_max_mean_R_minus_B": [0.1327,0.1088,0.07527,0.07033],
"color_aliasing_max_mean_R_minus_B_normalized": [0.391,0.2999,0.4362,0.3822],
"color_aliasing_max_mean_R_minus_G": [0.09607,0.02452,0.08199,0.07815],
"color_aliasing_max_mean_R_minus_G_normalized": [0.328,0.05977,0.4449,0.3945],
"color_aliasing_max_mean_G_minus_B": [0.1041,0.1088,0.06335,0.03999],
"color_aliasing_max_mean_G_minus_B_normalized": [0.2701,0.2991,0.2851,0.1786],
"color_aliasing_max_mean_S_HSL": [0.6033,0.9159,0.4902,0.5427],
"color_aliasing_max_mean_S_HSV": [0.3227,0.2781,0.4083,0.3311],
"color_aliasing_max_mean_CIELAB_chroma": [16.61,16.48,10.69,11.19],