倾斜边缘的图像信息度量:说明

这项工作的基本前提是信息容量是一种更优越的衡量标准。
用于预测成像系统的性能。

它比锐化或噪点更好,因为它包含了锐化和噪点, 而且它可以被使用。
推导出用于衡量目标和边缘检测性能的指标
以及用于设计优化系统性能的电子滤波器。

相关页面

图像信息指标:信息容量及更多内容包含有关图像信息指标的文档、白皮书、新闻等的关键链接。

在2024年电子成像会议上发表的论文《倾斜边缘的图像信息度量》对图像信息度量进行了最佳阐述。以下列出的白皮书也从不同程度上介绍了该内容。

《倾斜边缘的信息容量测量:方程和算法》 (旧文档)包含了本页的大部分方程,但我们推荐EI 2024 论文作为参考。

倾斜边缘法速度快、方便,最适合测量总信息容量,因此推荐用于大多数应用;但西门子星形法(2020)更适合观察图像处理伪影(去马赛克、数据压缩等)的影响。

快速入门——获取图像信息指标

  1. 选择一张倾斜边缘的图像进行分析。建议使用自动检测图表,包括SFRplus 、 eSFR ISO 、 Checkerboard或SFRreg ,但手动选择的SFR也完全可以胜任。
  2. 如有必要,可以模拟锐化和低通滤波的效果,以预测它们对目标和边缘检测的影响,如《图像信息度量的图像处理》中所述。
  3. 运行 Imatest 模块以测试图表图像: SFRplus 、 eSFR ISO 、 Checkerboard 、 SFRreg或SFR 。这些模块可以在交互式( Rescharts )模式下运行,用于创建和探索设置,也可以在可批量处理的自动模式下运行。
  4. 关键设置:信息容量计算、分箱(推荐使用 Imatest 22.1) 、线性化。
  5. 结果以多种图表形式呈现。

背景阅读:电子成像 2024 会议论文《倾斜边缘的图像信息度量》是首选。此外,《图像信息度量:信息容量及其他》等相关白皮书也很有帮助。

新测量方法简介

本页包含获取图像信息指标的说明。这些测量利用了倾斜边缘的新发现特性——Imatest最常用的用于测量 SFR(MTF)的模式。大多数成像科学家对这些指标并不熟悉,原因在于:(A) 它们大多局限于医学成像领域,且传统上难以测量;和/或 (B) 它们源自信息论,而信息论是电子通信的基础,但难以应用于成像领域。

新的指标源自两种截然不同但又互补的图像噪声测量,这两种测量都是通过倾斜边缘进行的,并且都可以用来计算信息容量。

  1. 边缘方差法可以方便地测量空间相关的噪声。
  2. 噪声图像方法测量噪声功率(维纳)频谱,并用它来计算几个额外的图像信息指标( NPS 、 NEQ 、 SNRI 、 Edge SNRi等)。

本页介绍了新的指标,展示了如何获取这些指标,然后展示了一些关键结果。

详细的算法在《倾斜边缘的信息容量测量:方程和算法》中给出。

计算结果汇总

为方便起见,此处提供计算概要。更多细节可参考“图像信息度量:信息容量及其他” ,尤其是EI 2024论文“ 倾斜边缘的图像信息度量” 。

A:边缘方差计算概要

将扫描线相加得到平均边缘。

从倾斜边缘的图像(原始 ROI ,见下文)开始,这些图像通常由 4:1 对比度图表生成(尽管 2:1 到 10:1 之间的图表对比度也是可以接受的),标准的倾斜边缘算法

  1. 找到每条扫描线的中心(沿大致垂直于边缘的水平或垂直方向测量),
  2. 然后,将中心拟合到多项式曲线,
  3. 根据多项式在扫描线上的位置,将扫描线的内容添加到四个箱中的一个。
  4. 然后将每个箱的平均值交错排列,形成 4 倍过采样边缘μ s ( x ) ,其噪声比单个扫描线低。
斜边电压V ( x ) 的统计数据

接下来,将每条扫描线的平方添加到相应的箱中,以计算边缘信号的方差σ s 2 ( x ) ,这相当于其噪声功率N ( x ) 。

主要结果如下:

C4是直接从 4:1 对比度倾斜边缘测量的香农信息容量。C4 是C <sub>n</sub>的一个特例,对于n :1 的对比度(强烈建议使用 ISO 标准 4:1), C<sub> n</sub>对图表对比度和曝光敏感,因此可用于测量性能与曝光的关系,但C<sub> 4 </sub> 并非直接测量相机最大信息容量。

C <sub>max</sub>是衡量相机最大信息容量更为稳定的指标,它由C<sub> 4 </sub>推导而来。此外,它对曝光不敏感,至少对于噪声是信号已知函数的线性传感器而言是如此。

B. 噪声图像计算概要 完整详情请点击此处

从低噪声非分箱/反向投影 ROI 图像中减去噪声图像,得到噪声图像。

该方法涉及反转 ISO 12233 的分箱过程。注意到 4 倍过采样边缘是通过交错 4 个分箱的内容创建的,我们应用分箱算法的逆过程,将每条扫描线的内容设置到其对应的分箱中(见下文“逆分箱... ROI ”)。由于逆分箱后的图像几乎没有噪声,因此可以通过从原始图像中减去逆分箱后的图像来生成噪声图像。该图像使用帕塞瓦尔定理进行缩放,该定理指出噪声功率谱的积分等于空间功率的积分。对于噪声功率N ( f )和N ( x ) 。通过将均值(零值)调整为中灰色来显示噪声图像,如下图所示的噪声图像。

噪声图像法的关键测量指标。其中许多指标应用于医学放射学。
测量描述
噪声功率谱 NPS ( f )在边缘方差法中, NPS ( f ) 被隐式地假设为常数(白噪声)。噪声幅度(电压)频谱。
噪声自相关性噪声电压谱的傅里叶逆变换。与传感器电串扰相关。实验研究。
噪声等效量子
NEQ ( f )和NEQ信息( f )
频率相关信噪比 (SNR) 的测量。  NEQ (f) 已被用于量化医学图像质量,但在一般成像领域却鲜为人知。NEQ( f )等价于光子散粒噪声占主导地位时传感器检测到的光子数。 当到达图像传感器的量子密度已知时,该方法适用于计算数字量子效率 (DQE)。NEQ info ( f )由以下公式导出:使其非常适合计算信息容量C NEQ 。
信息能力
C 4-NEQ
和C max-NEQ
对应于边缘方差法中的C4和Cmax ,但源自NEQ info ( f) 。它们很接近,但不完全相同。
理想观察者信噪比
SNRi
Skorka 和 Kane [ 9 ] 指出,“理想观察者是一个贝叶斯决策者,它最大化了具有两个可能结果的假设检验的统计精度。” SNRi 是物体(正方形或矩形)可检测性的度量。
Edge SNRI边缘信噪比 (Edge SNRi) 是衡量边缘可检测性的指标(从物体的梯度获得)。

为什么需要两种噪声测量方法?

用于测量信号存在下噪声的两种方法N ( x )和N ( f )是互补的:两者都是获得完整指标集所必需的。我们在此提及它们是为了澄清因信息容量 C 的两种略有不同的计算方法而可能造成的混淆。

边缘方差法于2022年10月下旬首次开发,并在2023年电子成像大会上进行了简短(10分钟)的介绍。该方法利用从倾斜边缘测量的空间相关噪声功率N ( x )来计算信息容量C。噪声图像法于2023年春季开发,它测量噪声功率(维纳)谱N ( f ) ,该谱必须使用N ( x )进行归一化。这使得可以计算多种图像信息指标(例如NEQ ( f )、 SNRi 、边缘SNRi等)。

为了报告信息容量,我们目前推荐使用噪声图像法C NEQ的结果,该方法略微更准确,因为它计算的是噪声功率谱NPS ( f ) ,而边缘方差法则假设NPS是平坦的(白色)。另一方面,边缘方差法可以为双边滤波图像(大多数消费级相机拍摄的 JPEG 图像)提供有用的(尽管并不完美)结果,但噪声图像法仅适用于经过均匀处理或极少处理的图像。

两种噪声测量方法: N ( x )和NPS ( f )

模拟图像处理的效果

可以通过模拟锐化和低通滤波的效果来预测它们对目标和边缘检测性能的影响。这可以用来回答许多重要问题,例如:

有关如何应用图像处理的完整说明,请参阅“图像信息指标的图像处理” 。

获取图像

eSFR ISO图表。自动检测 ROI,结合 MTF、颜色、色调和噪声测量。

在均匀、无眩光的环境下,拍摄任意斜边测试图( SFRplus 、 eSFR ISO 、棋盘格、 SFRreg或SFR )的曝光良好的图像。尽可能使测试图边缘对比度达到 4:1(ISO 12233 标准)。对比度范围为 2:1 至 10:1。图像采集过程与标准 MTF 测量基本相同。

如果您不确定哪种斜边图表最适合您的需求,主文档页面中有一个比较表。

在比较相机时,曝光一致性至关重要,因为曝光会影响信息容量的测量。(曝光对MTF测量的影响仅为次要的。)如果可能,完美曝光的倾斜边缘区域的平均像素值应在0.20到0.26的范围内,但只要图像没有饱和,就有很大的操作空间。

另一方面,在弱光性能受到关注的情况下,测量C 4与曝光量的关系可能很有意义。

为获得最佳效果,倾斜边缘感兴趣区域 (ROI) 沿边缘的宽度应至少为 100 像素。像素过少会导致结果一致性较差。

ROI区域显示出JPEG伪影。为获得最佳效果,边缘应位于ROI区域的中心。

获取图像的技巧

均匀性——图表的照明应尽可能均匀。简单的(一级)不均匀性可以校正。未平整安装的图表可能存在无法校正的不均匀性(弯曲),导致信息容量严重下降。

JPEG伪影——低质量的JPEG图像会非常难看,并严重降低测量结果。右侧的示例(放大4倍)展示了JPEG伪影和锯齿状边缘。这张图片在远离边缘的位置进行了明显的降噪处理,而且用于传输图像的网站可能使用了低质量压缩。如果为了方便电子邮件附件而必须将图像保存为JPEG格式,请务必使用高质量的JPEG图像。

运行 MTF 计算模块

运行相应的斜边模块,可以在以下两种情况下运行:

推荐设置

在计算图像信息指标之前,建议进行一些设置。

信息容量计算

在“设置”窗口中,从“信息容量显示”下拉菜单中选择合适的设置。  这可能不太容易察觉。 计算信息容量会略微降低操作速度。以下是两个示例。此设置也位于SFR 设置和Rescharts SFR 设置窗口中。

信息容量噪声计算设置,来自一系列
Rescharts 设置窗口,用于自动检测斜边模块
信息容量噪声计算设置,
从 Rescharts 的“更多设置”窗口左侧

完整的窗口和完整的说明在SFRplus 、 eSFR ISO 、 Checkerboard 、 SFRreg或SFR中。

噪声计算方法不同的原因是

如果选择信息容量计算(如下2-5所示),则会同时执行边缘方差和噪声图像计算。这些设置会影响边缘/MTF显示,而该显示空间有限。当在下方图表中选择“结果汇总”时,两种方法的结果都会显示在“噪声频谱、NEQ、SNRi”图中。

#环境描述最适合
1.没有信息容量计算速度略快于计算信息容量。它几乎只适用于高速实时图像采集。速度最快,但优势并不明显,因为在重新加载时信息上限计算会被关闭。
2.计算信息容量:自动边缘噪声检测根据噪声峰值的检测结果(存在或不存在)选择噪声计算方法。 建议用于大多数图像。如果图像处理已知且一致(经过最小/均匀处理或双边滤波),则选择选项 3 或 4 即可。对于未知图像处理:“黑匣子”
3.使用平均边缘噪声的信息上限(适用于均匀/最小处理的图像)对于由原始图像转换而来,并经过最少或均匀处理(无双边滤波)的图像。对于经过均匀/最少处理的图像
4.使用平滑峰值噪声的信息上限( 适用于双边滤波图像)对于双边滤波图像(包括大多数消费级相机拍摄的JPEG图像),该方法有效。它适用于均匀处理的图像,但结果不如方法(1)稳定。对于双边滤波图像(大多数消费级相机JPEG图像)
5.使用平均边缘噪声(不包括峰值区域)的信息容量之前添加此功能是为了解决灰尘颗粒导致均匀锐化图像中出现虚假峰值的问题。现在基本已修复。通常情况下,此功能与第 3 点相同。 

分箱——在“更多设置”窗口的左下角,选择 Imatest 边缘计算方法之一,最好选择Imatest 22.1(推荐) 。截至撰写本文时,该方法可产生最可靠的结果。

线性化方法——有多种方法可供选择。如果已知图表对比度(信息容量测量几乎必须知道),请输入图表对比度(建议为 4),然后选择“根据图表对比度计算 Gamma 值” 。此设置的影响不大,但当需要测试具有不同图像处理技术的相机时,此选择相当可靠。

其他设置——勾选“加速” (避免不必要的计算)、 “MTF降噪(模式apod)” (对噪声结果进行轻微清理)。如果存在可见的照明不均匀性,请勾选“不均匀性MTF校正” 。

噪声设置(可能不会影响信息指标)可以通过Rescharts 更多设置窗口中的按钮进行设置。

设置完成后,按“确定”按钮分析图像。可以选择任意显示方式,但只有少数几种(如下所示)用于显示信息指标。运行固定模块也能获得相同的结果。

利用信号平均法平滑粗糙结果

有时,对于噪声较大的图像,MTF 或 NEQ 等结果(或任何其他结果)可能会比较粗糙。这是因为倾斜边缘的感兴趣区域 (ROI) 通常小于最佳值。解决此问题的可靠方法是信号平均:采集多幅相同的图像,然后对它们进行平均以进行分析。对N 个平均信号进行平均,可以将信噪比 (SNR) 提高 N 的平方根( N值每增加一倍,信噪比提高 3 dB)。

对于信息容量/SNRi/NEQ的计算,噪声功率乘以平均次数N<sub> avg</sub> 。这不会导致结果发生系统性变化,只是使结果更加一致。

以下是信号平均带来的改进示例。

图像噪点较多(ISO 12800)含噪声图像, n avg = 10 次平均

信号平均的优势

信号平均法几乎适用于所有Imatest分析模块。
它对于随机/散落的硬币和对数 F 对比度特别有价值。

信号平均的说明

结果:边缘方差法及旧方法

边缘/MTF 图

上图(边图)中已添加了信息容量(针对单个边)。其他内容未作更改。

下图是使用高品质卡片相机拍摄的原始格式 eSFR ISO 图表图像。

由原始图像经最小处理转换而来的 eSFR ISO 图像的边缘/MTF 结果

同时显示信息容量C 4 (适用于 4:1 对比度图表;对曝光非常敏感)和C max (最大信息容量;对曝光相对不敏感)。

边缘和信息容量噪声

这是边缘和MTF图的一个变体。上面的图与之类似(尽管线扩散函数——边缘的导数——对于此图来说尤为重要)。

线扩散函数 (LSF) 和信号相关噪声σ来自
eSFR ISO 图像由 RAW 格式转换而来,仅经过少量处理

实线是经过宽度为 5 像素(4 倍过采样,原始像素数为 1.25)的矩形核平滑后的噪声。请注意,噪声非常粗糙,边缘过渡附近没有明显的峰值。从图表的局部观察可以看出,噪声曲线上的凸起似乎是随机的,并且不具有重复性。

现在有趣的部分来了。以上图表所用的图像源自原始图像,仅经过极少的处理(直线伽马曲线;未进行锐化或降噪——当然也未进行双边滤波)。以下是同一采集过程的相机内JPEG图像的处理结果。请注意边缘附近的大噪声峰。我们使用方法(1)计算香农-哈特利方程的噪声,该方法对边缘附近相当宽的区域进行平均。

线扩散函数 (LSF) 和信号相关噪声σ来自
eSFR ISO 图像以 JPEG 格式拍摄(经过强锐化和双边滤波处理)

方法 (2):使用平滑边缘噪声的最大值计算信息容量的噪声。此方法推荐用于双边滤波的 JPEG 图像,因为它使用噪声峰值附近相对较窄的区域来测量噪声。信息容量C4 = 3.11 b/p 仅略高于 TIFF 的 3.0 b/p。如果选择方法 (1)(对大区域进行平均,未突出峰值),则C4 = 3.84 b/p:显著大于原始测量值,显然不准确。

3D绘图和总信息容量

C 4和C max已添加到可用的 3D 图中。

边缘信息容量C 4的 3D 图

总信息容量C <sub>total</sub> (以信号电平为参考,本例中为 4:1)的计算方法是将加权平均值(两个信息容量图的所有权重均设置为 1)乘以总像素数(以比特/像素为单位)。它显示在平均信息容量(以比特/像素为单位)旁边。

在上图中, C总计= 2.847 位/像素 × 16 兆像素 = 45.44 兆比特。显示屏显示边缘信息容量 C最大值 平均值:2.847;总 Mb:45.44 。

信息相关:NEQ、SNRi 等显示

图像信息指标(NPS、NEQ、SNRi、边缘 SNRi 等)以及几个传统指标(MTF、LSF 等)显示在“信息相关:NEQ、SNRi 等”显示中。

这些结果是使用一台2400万像素的微型4/3系统相机,搭配一支高品质的60mm定焦(微距)镜头,光圈设置为f/8,ISO设置为100拍摄的。所有色彩通道均已显示。

信息相关图表的一个关键特点是它同时显示两个结果:一个在顶部,一个在底部,这使得比较和关联不同的结果变得容易。在开发新指标的过程中,这一特点得到了广泛应用。

Rescharts 显示的线扩散函数 (LSF;上图) 和
噪声等效量子(NEQ;下图)

两个下拉菜单之间的“对数 x 轴”复选框(显示在右侧的红色椭圆内)允许您选择频率图的线性或对数 x 轴。

在 Rescharts 图表中红色椭圆框内的上下图表的“信息相关...”下拉菜单中,提供了大量结果选择。  显示区域, 位于右上角。

“ 信息相关…” 下拉菜单有点臃肿,包含的条目过多(需要滚动才能查看全部条目)。未来版本可能会对此进行改进。

 
snriperpix2
     
上、下地块符号来自EI2024 论文。
噪声电压频谱NPS ( f )也称为维纳谱。它是计算核函数的重要中间结果。以及其他关键指标。
噪声功率谱(NPS) 
噪声等效量子 (NEQ)频率相关的信噪比功率,表示光子主导信号入射到像素上的量子数。
SFR(MTF)空间频率响应(又称调制传递函数)。衡量清晰度的关键指标。
边缘线性化未归一化μ S ( x )平均边缘(ISO 分箱算法的输出)
线扩散函数(LSF)边的导数
边缘噪声幅度
噪声自相关性IFFT( NEQ ( f ))与传感器串扰相关的实验测量。
SNRi 方形 wxw正方形物体的理想观察者信噪比(边长为w × w像素)。
SNRi矩形 wx 4w矩形物体的理想观察者信噪比(边长为w × 4 w像素)。
每像素SNRi平方²每个像素的信噪比为2,适用于w × w 的正方形区域。趋于稳定;不会无限增加。
每像素SNRi矩形²每个像素的信噪比为2,适用于w × 4 w 的矩形区域。数值趋于稳定,不会无限增长。
LSF 双峰位移线扩散函数双峰位移与间距的关系
LSF 双峰振幅线扩散函数振幅随间距的变化
LSF双峰信噪比能量线扩散函数能量随间距的变化
Edge SNRi 方形 wxw边 SNRi 适用于w × w正方形。
Edge SNRi 矩形 wx 4w边 SNRi 适用于w × 4 w矩形。
Edge SNRi 1D 双透镜边缘信噪比 (SNRi) 用于长1D 物体。
对象匹配过滤器F匹配对象( f )优化 SNRI 的匹配滤波器的响应
边缘匹配滤波器 F <sub>matched-edge</sub> ( f ) = f × F <sub>matched-object</sub> ( f )匹配滤波器的响应,用于优化边缘信噪比增强
 
仅限下部地块
原始图像裁剪原始(输入)ROI
未分箱图像裁剪 反向投影;低噪声
噪声图像裁剪原始图像 – 噪点图像,经过提亮和对比度增强处理以用于显示。
结果总结文本显示了边缘方差和噪声图像方法的C4和C max ,以及其他结果,其中一些是实验性的,可能会发生变化。
物体可见性图像一张合成图像,展示了不同尺寸(1×1 至 14×14 像素)和米歇尔逊对比度(4:1 图表对比度为 0.6,其他对比度为 0.3 和 0.15)的正方形的可见性。大图版本覆盖了显示屏的上下区域。
物体可见性 - 大
 

信息相关:NEQ、SNRi 等显示摘要。不太重要或实验性结果以灰色背景显示。

噪声功率谱或电压谱 (NPS)

噪声功率(维纳)图和电压谱图形状相同,仅 y 轴标签不同。NPS是一种中间计算方法,用于计算许多图像信息指标。

一维噪声功率谱或电压谱是通过对噪声图像进行二维傅里叶变换 (FFT) 得到的。初始二维 FFT 在图像中心处频率为零。图像被分割成若干环形区域,并计算每个区域的平均噪声功率。
EI 2024 论文中的方程/算法,方程 (13),图 16

噪声等效量子 (NEQ)

图中所使用的标准NEQ基于平均信号电压V <sub>mean</sub> ,如上所示。而基于NEQ的信息容量C<sub> NEQ </sub>则使用不同的电压V<sub> PP</sub> /sqrt(12)来计算。

由于倾斜边缘 ROI(感兴趣区域)的尺寸相对较小,因此 NEQ 图比较粗糙。
EI 2024 论文中的方程/算法,方程 (15),图 17

空间频率响应(SFR/MTF)

请注意,y 轴是对数坐标。x 轴可以是线性坐标(如图所示)或对数坐标。由于 y 轴是对数坐标,因此该图与标准Edge/MTF 图中的 MTF 图略有不同。

边缘线性化未归一化,V(x)

也包含在标准边缘/MTF图中。有助于观察锐化造成的过冲。

用于计算香农-哈特利方程在边缘方差计算中的信号功率S。

线扩散函数,LSF(x) = dV(x)/dx

此外,如上所示的边缘和信息容量噪声图中也存在这种情况。

MTF ( f ) = |FFT( LSF ( x ))|,在零频率处归一化为 1。

双边滤波图像在边缘附近存在噪声峰值,而LSF在该边缘处达到最大值。

边缘噪声幅度

使用 1.25 像素平滑核进行平滑处理。此外,在上方所示的边缘和信息容量噪声图中,还展示了来自同一图像采集的最小处理图像和双边滤波图像。

该图中的峰值表示双边滤波图像(消费级相机拍摄的 JPEG 图像中常见)。

EI 2024 论文,噪声功率部分, N

理想观察者对正方形或矩形的信噪比 (SNRi)。

SNRi是衡量小物体可探测性的指标。它可以用于边长为w 的正方形和尺寸为w × 4w 的矩形,其中 w为较短边的像素长度。

Paul Kane [ 8 ] 和 Orit Skorka 和 Paul Kane [ 9 ] 的论文详细讨论了SNRi 。

SNRi 显示屏的一个问题是,随着边长w 的增加,它会变得非常大。这使得图像难以解读。 视觉上。

EI 2024 论文中的方程/算法,方程(17-20),图 20

每像素 SNRi [正方形或矩形] 2

虽然图像没有完全平坦,但比普通的SNRi更容易进行视觉解读。

EI 2024 报告,图 21

Edge SNRI

与 SNRi 类似,但它是基于边缘而非物体整体属性的。图中展示了w × w正方形、 w × 4 w矩形或一维双体物体的情况。它不会随着物体尺寸的增大而无限增大。

EI 2024 论文,公式(2-25),图 26

对象匹配筛选器

图中展示了对于宽度分别为 5、2 和 1 像素的目标,具有最佳边缘信噪比 (ESRN) 的滤波器的传递函数(频率响应)。该传递函数等于目标的传递函数乘以频率。可以用实际滤波器近似表示。我们需要确定设计滤波器的最佳实践,以权衡目标性能和边缘性能。

EI 2024 论文,公式 (27),图 28

边缘匹配滤波器

图中展示了边缘宽度分别为 5、2 和 1 像素时,具有最佳边缘信噪比 (Edge SNRI) 的滤波器的传递函数(频率响应)。该滤波器可以用实际滤波器进行近似。我们需要确定设计滤波器的最佳实践,以权衡对象性能和边缘性能。

EI 2024 论文,公式 (27),图 29

LSF 双联移位

以像素为单位显示双峰位移与像素间距的关系,采用对数显示。这不是一项重要发现。

LSF 双峰振幅

振幅随像素间距的增加而加倍,以对数形式显示。这不是一项重大发现。

LSF 双峰信噪比能量(空间域)

以像素间距为横坐标,以对数形式显示双倍能量(∫振幅2 )。与一维双峰的边缘信噪比增强(Edge SNRI)结果相当。并非重大发现。

噪声自相关(与传感器电串扰相关)实验

此图主要用于研发而非常规测试,旨在验证以下假设:当去除去马赛克和固定模式噪声的影响,且主要噪声源为光子散粒噪声时,噪声功率谱(以及自相关性)能够指示图像传感器的电串扰量。该假设的基本思想是,入射到传感器上的光完全不相关,因此如果没有串扰,噪声将呈现白噪声特性。

右侧的图片已进行白平衡调整。

噪声自相关曲线是噪声频谱的傅里叶逆变换,这是基于作者对维纳-辛钦定理的有限理解得出的。

右侧图像未经白平衡处理。正如我们预期的那样,红色通道的自相关距离比其他通道更大。点击图像可放大查看。

在图像统计模块中,也可以从平场图像获得类似的自相关图。对照明不均匀性进行了校正,以降低远距离处的自相关性。
方程/算法

仅显示下方图表,位于 Rescharts 窗口的左下角

图像 ROI 裁剪图(原始图像、未分箱图像、噪声图像)

我们在这里展示了噪声图像(ISO 12800)的 ROI 局部放大图,其中原始图像和未合并图像之间的差异很容易看出。

所有图像均经过伽马编码以便显示。右侧的噪声图像已被提亮(其实际均值为零)并增强了对比度。

去噪处理在去除噪声方面的效果显著。它是噪声图像计算(NEQ、SNRi 等)的基础。
方程/算法

原来的未分类噪音

结果总结

包含图像属性摘要。

底部几行包含程序开发中用于检查计算准确性的几个变量。这些变量可以更新。

主要结果是信息能力处于前50%。

C 4 (EdgeVar)和C max (EdgeVar)是从边缘方差方法推导出来的。

C4 (NEQ)和Cmax (NEQ)源自噪声镜像法(之所以称为 NEQ,是因为它们直接由 NEQ 计算得出)。它们并不完全相同,因为噪声镜像法使用测量的噪声功率谱,而边缘方差法则假设噪声功率为白噪声。

对象可见性

LARGE选项同时覆盖上、下两个绘图区域,以提高可视性。

SNRi测量的目标是预测小型、低对比度正方形或4:1矩形中的物体可见性。SNRi预测结果需要视觉验证。

我们为 Imatest 开发了一种显示方式,它利用真实的倾斜边缘图像的内容和一些技巧来实现这一点。这种显示方式与大多数其他Imatest显示方式不同,因为它旨在进行感知判断,基于原始图像(很难对倾斜边缘进行感知判断)和计算出的线扩散函数(转换为 2D)。

右侧的结果来自一台ISO 12800的微型4/3系统相机拍摄的噪声图像。正方形的边长分别为w = 1、2、3、4、7、10、14和20像素。原始测试图的对比度为4:1(亮部/暗部=4),相当于迈克尔逊对比度C <sub>Mich</sub> (亮部-暗部)为0.6。外侧正方形的C <sub>Mich</sub> = 0.6,而中间和内侧正方形的C <sub>Mich </sub>分别为0.3和0.15。

如何使用这些图像——边缘附近不显眼的洋红色条纹旨在帮助您找到可能难以辨认的小方块。信噪比(SNRi)曲线(至少在初始阶段)用于图表对比度——强烈建议使用 4:1(ISO 12233 标准)。外侧色块对应于信噪比(SNRi)曲线,根据罗斯理论,信噪比为 5(14 dB)应对应于可见性阈值。这些色块可以与信噪比(SNRi)曲线进行比较。
方程/算法

信息容量与暴露程度(或暴露指数)的关系

可以通过在固定模块( SFR 、 SFRplus 、 eSFR ISO 、 Checkerboard或SFRreg )中运行一批图像,然后将结果(来自 ...-sfrbatch.csv 文件)输入 Batchview 来研究曝光对信息容量C 4的影响。获得理想结果需要几个步骤。虽然可以快速完成,但仔细阅读说明非常重要。

这项技术最适用于需要在弱光环境下良好工作的车载摄像头。这里使用曝光指数 (EI) 来代替总曝光量。提高曝光指数会减少到达传感器的总光量,也就是说,曝光指数与总曝光量成反比。 (这对初学者来说可能比较难懂。)

我们将使用一组来自2400万像素微型4/3系统相机的图像,这些图像在不同的曝光指数(EI;ISO感光度)下拍摄,以RAW格式(ARW)采集,然后使用LibRaw将其转换为TIFF格式,并进行最少的处理:不进行锐化或降噪,仅应用简单的伽玛曲线,但进行白平衡和色彩校正。应尽可能避免使用JPEG文件,因为其双边滤波会降低计算精度。然而,对于车载相机而言,这可能难以避免,幸运的是,边缘方差技术在C4分辨率下也能提供良好的结果——精度仅略低于使用转换后的RAW图像。

自动ROI检测模块( SFRplus 、 eSFR ISO 、 Checkerboard或SFRreg )的第一步是使用交互式( Rescharts )程序运行图像,以确保设置正确。虽然SFR并非必须执行此步骤,但预览结果仍然很有用。

概括

注意:在 Imatest 2020 之前使用的倾斜边缘信息容量测量方法(主要用于从西门子星形测量中获得总信息容量)已被完全弃用,因为它不够准确。

链接( 白皮书中还有更多链接)

  1. CE Shannon,“ 通信的数学理论”,贝尔系统技术杂志,第27卷,第379-423页,1948年7月;第27卷,第379-423页。
    623–656,1948 年 10 月。
  2. CE Shannon,“ 噪声环境下的通信”,IRE 会议论文集,1949 年 1 月,第 10-21 页。
  3. 维基百科——香农-哈特利定理是香农方程的频率相关积分形式,可应用于 Imatest 的正弦模式和倾斜边缘香农信息容量计算。
  4. IA Cunningham 和 R. Shaw, “医学成像系统的信噪比优化”,第 16 卷,第 3 期/1999 年 3 月/第 621-632 页/美国光学学会杂志 A 辑
  5. Brian W. Keelan,“噪声等效量子成像应用”,载于IS&T 国际电子成像研讨会论文集:图像质量和系统性能 XIII ,2016 年, https://doi.org/10.2352/ISSN.2470-1173.2016.13.IQSP-213 。
  6. Michail C、Karpetas G、Kalyvas N、Valais I、Kandarakis I、Agavanakis K、Panayiotakis G、Fountos G.,正电子发射断层扫描扫描仪的信息容量。晶体。2018;8(12):459。https ://doi.org/10.3390/cryst8120459 。
  7. Christos M. Michail、Nektarios E. Kalyvas、Ioannis G. Valais、Ioannis P. Fudos、George P. Fountos、Nikos Dimitropoulos、Grigorios Koulouras、Dionisis Kandris、Maria Samarakou、Ioannis S. Kandarakis,“数字乳腺 X 线摄影中的图像质量和信息容量图”, BioMed Research International ,卷。 2014 年,文章 ID 634856,11 页,2014 年。https://doi.org/10.1155/2014/634856 。
  8. Paul J. Kane,“信号检测理论和汽车成像”, IS&T 国际电子成像研讨会:自主车辆和机器会议论文集,2019 年,第 27-1 - 27-8 页, https://doi.org/10.2352/ISSN.2470-1173.2019.15.AVM-027 。
  9. Orit Skorka、Paul J. Kane,“使用理想观察者模型进行目标检测”, IS&T 国际电子成像研讨会:自主车辆和机器,2020 年,第 41-1 - 41-7 页, https://doi.org/10.2352/ISSN.2470-1173.2020.16.AVM-041 。
  10. R. Shaw,“ 傅里叶技术和信息论在摄影图像质量评估中的应用” ,《摄影科学与工程》,第6卷,第5期,1962年9-10月,第281-286页。转载于Rodney Shaw编辑的《图像评估精选读本》,SPSE(现SPIE),1976年。文中对胶片信息容量的计算进行了深入而复杂的分析。 可供下载。
  11. X. Tang、Y. Yang、S. Tang,《差分相位对比CT与常规CT成像性能的表征:噪声等效量子NEQ(k)谱》 , Med Phys. 2012年7月;39(7): 4467–4482。2012年6月29日在线发表。doi : 10.1118/1.4730287 。

附录1. 信息能力简述

摄影科学家和工程师强调,没有任何一个数字能够令人满意地描述摄影系统再现被摄对象小尺度特征的能力。
克劳德·香农

挑战总是令人兴奋的!电子通信信道就有一个这样的指标——它量化了信道在无误差情况下能够传输的最大信息量。该指标包含了清晰度和噪点(胶片上的颗粒感)。而相机——或者任何数字成像系统——就是这样一个信道。

该指标最早由贝尔实验室的克劳德·香农于1948年发表[ 1,2 ],现已成为电子通信行业的基础。它被称为香农信道容量或香农信息容量C ,其公式看似简单[3]。(更多详情请参见维基百科关于香农-哈特利定理的页面。)   

 

W  是信道带宽,  S ( f )  是平均信号能量(信号的平方)。  电压;与MTF ( f ) ²成正比,而N ( f )是平均噪声能量(均方根噪声电压的平方),对应于胶片颗粒。它看起来很简单(只比E = mc²略微复杂一些),但应用起来并不容易。

克劳德·香农是一位真正的天才。 《与克劳德·香农共度一万小时:天才如何思考、工作和生活》这篇文章非常值得一读。 《纽约客》和《科学美国人》上也刊登过一些关于他的精彩文章。IEEE也有一篇文章,将香农与机器学习和人工智能的发展联系起来。我尤其对时长29分钟的视频《克劳德·香农——信息时代之父》感兴趣,这部视频由加州大学圣地亚哥分校记忆与记录研究中心制作,我以前工作时经常去那里。

本页介绍了如何从倾斜边缘图像(Imatest 最常用的测试图像)中计算信息容量C ,以及如何从同一位置计算信号和噪声,从而获得更优的图像质量测量结果。此前(2020 年)的西门子星形方法已在“基于西门子星形的香农信息容量”一文中进行了描述。

计算背后的数学和算法在 《倾斜边缘的信息容量测量:方程和算法》中进行了介绍。

附录 2. 线性传感器的最大信息容量 C <sub>max </sub> 的计算

步骤1:将测得的峰峰值电压范围Vpp替换为最大允许值,即Vp -p_max = 1。这看似简化,但对大多数相机都适用。请参阅信号功率S部分,

步骤 2:用N_mean代替测得的噪声功率N ,即N在0 ≤ V ≤ 1范围内的平均值(其中 1 为最大允许归一化信号电压V )。线性图像传感器的噪声功率N与V的函数关系的一般方程为:

k₀是恒定噪声系数(暗电流噪声、约翰逊(电子)噪声等)。k₁ 是光子散粒噪声系数。它们由噪声功率N₁ = σ₁²和N₂ = σ₂²计算得出,这些噪声功率与边缘跃迁两侧的信号电压V₁和V₂一起测量。

假设N 1 = k 0 + k 1 V 1和N 2 = k 0 + k 1 V 1 ,我们可以解出关于k 0和k 1的两个未知数的两个方程。

N与噪声计算方法 (1) 中使用的噪声非常接近(该方法适用于未经双边滤波的最小处理图像)。但如果使用方法 (2)(平滑峰值噪声)(推荐用于经过双边滤波的相机内 JPEG 图像),则N通常较大,必须进行调整。

N → k N N ,其中k N = N方法_2 / N方法_1

在双边滤波图像(大多数消费级相机拍摄的JPEG图像)中,低通滤波(用于降噪)可能会对N1和N2产生足够大的影响,以至于该方程不再可靠地成立。这会对Cmax的准确性产生不利影响。

计算Cmax时, 0 ≤ V ≤ 1范围内的平均噪声功率Nmean为

为了处理边缘暗侧噪声较大(奇怪的图像处理)这种罕见但并非未知的情况,可以使用N mean = max( N mean , N 1 ,N 2 ) 。

使用 ,

由于高动态范围 (HDR) 传感器中的噪声不遵循线性传感器的简单方程,我们建议给予图像足够的曝光,使边缘较亮的一侧接近(但肯定低于)饱和度,然后保持N不变( N平均值= N )。

对于使用线性传感器的最小或均匀处理的图像, C max几乎与曝光无关,其中噪声功率N是信号电压V的已知函数。

附录 3:JSON 输出

通过保存 JSON 摘要文件获得(在 Rescharts 中按“保存数据”)。

笔记

"edge_info_note1": "信息容量结果。对于彩色图像,通道为 RGBY;对于拜耳阵列,通道为 R GR B GB",
"edge_info_note2": "V_P_P 及后续结果包含每行一种颜色的 nroi 结果",

以下结果包含 4 行 RGBY 通道;6 列 6 个 ROI。

信号V PP  
"edge_info_signal_V_P_P": [

[0.2271,0.2283,0.2199,0.2125,0.1971,0.1887],
[0.2292,0.2302,0.2209,0.2157,0.1994,0.1889],
[0.2358,0.2354,0.2239,0.1998,0.2075,0.1886],
[0.2292,0.2301,0.2209,0.2138,0.1995,0.1889]

],

平均空间相关噪声
"edge_info_noise_V_RMS": [

[0.0062,0.0061,0.0056,0.0057,0.0059,0.0064],
[0.006,0.006,0.0054,0.0059,0.0058,0.0065],
[0.0061,0.0063,0.0062,0.007,0.0062,0.0076],
[0.0058,0.006,0.0052,0.0058,0.0058,0.0064]

],

峰值平滑噪声
"peak_smoothed_noise": [

[0.0149,0.0179,0.0137,0.0151,0.0172,0.0128],
[0.015,0.0177,0.0132,0.0151,0.0172,0.0131],
[0.0156,0.0185,0.0146,0.016,0.0181,0.0134],
[0.0151,0.0178,0.0132,0.0151,0.0172,0.0129]

],

峰值平滑噪声/平均噪声比:用于检测高于阈值(1.8*max(左侧平均值,右侧平均值)的双边滤波)。
"pk_smoothed_to_mean_noise_ratio": [

[2.413,2.922,2.449,2.637,2.933,2.02],
[2.508,2.946,2.455,2.554,2.985,2.018],
[2.573,2.953,2.343,2.296,2.917,1.76],
[2.576,2.972,2.525,2.607,2.996,2.009]

],

检测到的位置(以像素为单位)的标准偏差( σ (位置))
"sigma_location_pxls": [

[0.068,0.085,0.126,0.129,0.124,0.112],
[0.068,0.083,0.12,0.128,0.123,0.113],
[0.069,0.084,0.129,0.144,0.123,0.114],
[0.068,0.083,0.12,0.128,0.123,0.112]

],

信号/噪声均方根值(我们不确定此项测量的目的;可能不会保留。)
"edge_info_snr_RMS": [

[12.9707,13.1877,13.8628,13.1201,11.8556,10.5008],
[13.5087,13.509,14.5215,12.8755,12.2126,10.3129],
[13.7273,13.286,12.6874,10.1264,11.821,8.7738],
[13.8613,13.6161,14.9063,13.0611,12.2589,10.3593]

],

边缘方差信息容量 C_4
"edge_info_capacity_C_4_b_p": [

[2.031,1.651,1.231,1.167,1.148,2.201],
[2.032,1.671,1.27,1.175,1.16,2.179],
[2.023,1.654,1.198,1.076,1.144,1.983],
[2.031,1.67,1.269,1.172,1.16,2.185]

],

边缘方差信息容量 C_max
"edge_info_capacity_C_max_b_p": [

[4.032,3.471,2.737,3.166,2.926,4.023],
[4.005,3.501,2.86,3.023,3.084,3.976],
[4.032,3.495,2.62,2.924,2.916,3.724],
[4.044,3.513,2.876,3.112,3.038,3.982]

],

来自噪声图像 (NEQ) 信息容量的 C_4... 替换了 edge_info_capacity...
"info_capacity_C_4_NEQ_b_p": [

[2.128,1.567,1.056,0.8549,1.097,2.254],
[1.973,1.544,0.9904,0.9072,1.073,2.279],
[1.883,1.614,1.058,1.075,1.036,2.382],
[1.875,1.526,0.9486,0.8741,1.046,2.262]

],

来自噪声图像信息容量的 C_max... 取代了边缘信息容量...
"info_capacity_C_max_NEQ_b_p": [

[4.128,3.387,2.562,2.854,2.874,4.076],
[3.947,3.374,2.58,2.756,2.997,4.075],
[3.891,3.455,2.48,2.923,2.808,4.122],
[3.888,3.368,2.556,2.814,2.925,4.059]

],

平均图像数量([1] 表示不进行信号平均)
"signal_averages_for_info": [1],

总最大信息容量(以兆字节为单位,包含所有感兴趣区域)。以三维图形式展示 C_max。
"edgeInfoCapacityMax_total_Mb": [23.39],

各个区域的分区指示器,显示所选频道。
"edge_info": {
“通道”: “Y”,

下面显示的是 NPS 和 NEQ 的频率(周期/像素)。范围为 0 和 0.05 到 0.5,步长为 0.05。
"NPS_NEQ_frequency": [0,0.05,0.1,0.15,0.2,0.25,0.3,0.35,0.4,0.45,0.5],

SNRi 和 Edge SNRi 的宽度(以像素为单位)(4:1 矩形的较短边)
"SNRi_box_width": [20,14,10,7,5,4,3,2.5,2,1.4,1,0.7,0.5],

各个区域的结果以“ROI”表示,图中仅显示了其中 2 个区域的结果。

ROI 指示该区域。
噪声功率谱(NPS)
噪声等效量子 (NEQ)
SNRI_square。所有框宽从 20 到 0.5 的 SNRi。
SNRi_rectangle
edge_SNRi_square。替换 SNRd_square——24.2 试点计划之前已过时的名称。
edge_SNRi_rectangle 取代了 SNRd_rectangle——一个过时的命名方式

“ROI_results”:[
{

“投资回报率”:[1],
"noise_power_spectrum": [0.002352,0.000627,0.0005093,0.0003993,0.0003269,0.0003086,0.0002547,0.0001938,0.0001532,0.0001075,6.15e-05],
"noise_equivalent_quanta": [28.98,110.9,170.2,279.3,357.6,317.5,274.2,215.5,147.9,111.9,106.6],
"SNRi_square": [42.16,39.41,37.03,34.55,32.22,30.79,28.8,27.34,25.33,21.34,16.72,11.21,5.705],
"SNRi_矩形": [49,45.79,43.04,40.28,37.78,36.27,34.35,33.03,31.29,28,24.36,20.06,15.67],
"SNRd_square": [12.01,11.98,11.99,11.91,11.89,12.12,12.16,12.27,12.77,11.47,8.007,3.074,-2.18],
"SNRd_rectangle": [12.01,11.98,11.98,11.95,11.94,12.08,12.08,12.2,12.46,11.98,10.5,8.153,5.667]

},
{

“投资回报率”:[2],
"noise_power_spectrum": [0.003468,0.0009693,0.0005746,0.0004773,0.0004368,0.0003866,0.0003348,0.0002759,0.0002067,0.0001327,7.788e-05],
"noise_equivalent_quanta": [19.9,72.8,153.7,221.5,242.4,217.2,161.5,104.6,64.98,43.74,36.32],
"SNRi_square": [40.71,37.97,35.44,32.97,30.72,29.25,27.2,25.68,23.53,19.28,14.49,8.887,3.331],
"SNRi_矩形": [47.58,44.41,41.53,38.73,36.28,34.77,32.8,31.45,29.63,26.18,22.42,18.04,13.54],
"SNRd_square": [9.553,9.552,9.528,9.504,9.501,9.651,9.914,10.1,10.18,8.332,4.651,-0.3857,-5.685],
"SNRd_rectangle": [9.553,9.547,9.538,9.521,9.523,9.614,9.748,9.894,9.992,9.23,7.584,5.199,2.496]

...
},
]
},