基于 EMVA-1288 的 Flatfield 统计数据

介绍

欧洲机器视觉 1288 标准 (EMVA 1288)旨在测试线性图像传感器的几项关键特性,包括线性度、灵敏度(量子效率)、噪声、暗电流、不均匀性和光谱灵敏度。Imatest 2020.2及更高版本执行其中一部分测量,包括平场图像中的时间噪声和空间不均匀性。光响应不均匀性和暗信号不均匀性(分别用PRNU 和 DSNU 表示,PRNU代表明亮图像, DSNU代表暗图像,DSNU 代表“镜头盖已盖上”)等结果可以通过“均匀性”和“均匀性交互式”模块,从批量平场图像中计算得出。

这些测量结果源自EMVA 1288 标准,并具有相似的数值结果,但是:  它们并不完全符合 EMVA 1288 标准,因为方法不同。传感器动态范围测量也旨在提供与 EMVA 1288 标准相当的结果,但同样,它远未达到标准要求。

真实图像中的噪声,以增强对比度显示;每图像像素对应 4 个显示像素。可见一些由(低质量)JPEG 处理造成的 8×8 色块。

图像传感器噪声是由多种因素引起的像素级随机变化,包括光子(散粒噪声)、热噪声(约翰逊噪声)、暗电流噪声以及图像传感器中像素的灵敏度和增益的变化,有时也称为固定模式噪声(我们在这里称之为空间不均匀性)。EMVA 标准(§4)中更倾向于使用“不均匀性”。

图像传感器噪声可以分解为两个基本因素。

测量时间噪声有两种方法。方法一是将两幅在相同条件下采集的图像相减,然后除以√2。方法二需要大量的图像。EMVA计算采用这种方法,因为空间非均匀性也需要多幅图像。

计算时间噪声和非均匀性需要拍摄多张图像。(EMVA §8 建议的最小图像数量为L ≥ 16;100-400 更佳,但Imatest计算只需 4 张图像即可完成(仅适用于测试)。该标准建议拍摄一组亮度图像,其平均像素水平(在未应用伽马校正的线性文件中)为饱和度的 50%(文档中用下标 50 表示;我们更倾向于使用“light”),以及一组暗像素图像(“镜头盖已盖上”;用下标 dark 表示)。

关于 EMVA 1288 方程的说明: Imatest 目前未使用光度单位,例如K = 每个电子的数字值 (DN); η = 量子效率; μp = 每个像素的平均光子数; μe = 每个像素的平均电子数 ( μe = ημp )。Imatest 的结果仅基于电学测量,因此我们无法完全遵循标准方程。

以下公式代表实际的Imatest计算结果,旨在与标准测量结果等效。我们将尽量遵循 EMVA 1288 的一些符号。μ 代表均值; s代表空间标准差; σ代表时间标准差。

以下方程式的总结:

对于一组L 张拍摄的图像,计算平均图像 <y>:

EMVA 线性版本 4.0 (33)

那么, L张包含M行N列的图像中每个像素的平均值为:

EMVA 线性版本 4.0 (34)

空间非均匀性s是μ y 的标准差,使得总体空间方差为, 等于平均值。

图像中每个像素的时间噪声方差(功率)为:

EMVA 线性版本 4.0 (18)

这个方程的计算可能既缓慢又繁琐,但有一个简便方法,维基百科“方差”页面中有描述。按照维基百科的符号表示,在EMVA表示法中,

然后可以通过减去以下方法校正“测量”的空间方差,以消除时间噪声的残余方差: :

EMVA 线性版本 4.0 (36)

总空间方差可以进一步分解为行空间方差、列空间方差和像素空间方差,这对于表征行与行和列与列之间的不均匀性非常有用:

EMVA 线性版本 4.0 (37)

列空间方差由组合图像的平均行计算得出:

EMVA 线性版本 4.0 (39)

同样地,行空间方差是通过组合图像的平均列计算得出的。 , 和使用EMVA 线性版本 4.0 第 4.3 节中定义的方程组求解。

观察:对于任意图像(不仅限于EMVA 1288规范中规定的平场图像), <y>是常见的信号平均平均信号图像,其信噪比在L 个采样点上提高了 3*log 2 ( L ) dB。噪声电压σ s也形成图像(噪声图像),虽然它远不如信号图像那样为人熟知,但它可以帮助我们深入了解图像处理,例如双边滤波,其中锐化/降噪(因此噪声)在图像表面上是变化的。噪声图像的详细讨论请参见“测量时间噪声”部分。

完整的EMVA 1288 光响应不均匀性 ( PRNU 1288 )测量使用一组亮图像(下标 50 或 light)和一组暗图像(下标 dark)。运行图像集后,结果会临时存储在 imatest-v2.ini 文件中。PRNU 1288仅在亮图像和暗图像均可用时才会计算。

其中 <...> 表示对图像取平均值。

仅使用图像的亮集,我们可以定义PRNU亮,它与PRNU 1288非常接近。

暗信号不均匀性

使用相同的方法,也计算了分解后的行、列和像素方差的 PRNU 和 DSNU。

方法

拍摄平坦的场景,通常使用高度均匀的光源,例如不闪烁的LED灯箱。对于明亮的图像,如果可以控制曝光,请选择线性图像曝光约为最大值的50%(对于伽马=2.2的色彩空间,这约为最大值的73%)。

在 INI 设置中设置暗图像分类阈值。此功能从 Imatest 24.1 版本开始提供,允许用户手动设置用于区分“亮”图像和“暗”图像的阈值。该阈值基于输入图像的归一化均值,默认值为 0.08。这意味着,所有输入图像的平均数字计数必须小于最大数字计数的 8% 才能被分类为“暗”。在某些情况下,此阈值可能过低,无法按预期对一组输入图像进行分类。要在 .ini 文件中调整此阈值,请在 Imatest 主窗口中找到INI下拉菜单,然后选择“打开 INI 文件” 。

这将使用文本编辑器打开您现有的 .ini 配置文件。如果从默认的 .ini 文件开始,或者您之前没有运行过平坦场分析,则需要手动添加[flatfield]部分和threshold_Lt_Dk_pct_0_1 ,如下所示。

如果您之前运行过平坦场分析,则文件中已存在[flatfield]部分和几个 ini 键,包括threshold_Lt_Dk_pct_0_1 。请在文本编辑器中或使用INI下拉菜单中的INI 文件编辑器工具调整现有threshold_Lt_Dk_pct_0_1字段的值,然后保存更改。现在您可以像往常一样继续进行分析。

对于已保存的图像文件,选择一组L (亮或暗)文件,然后选择平场分析,并选择所需的交互式或自动(批量)选项。

点击“分析”按钮,进入多图像验证阶段。在此窗口中,分析 EMVA1288 时,请务必选择“读取 n >= 4 个文件以检测基于像素的时间噪声” 。选择“是”继续。

文件确认窗口。请务必为 EMVA-1288 选择“读取 n 个文件...”。

此时会弹出一个区域选择窗口。大多数情况下,您需要选择整张图像(或者,如果您分析的是相同大小的图像,则可以使用与上一张图像相同的选择区域)。选择完成后,会出现一个进度条:读取多张图像的速度出奇地快。

要直接采集数据,请使用设备管理器选择采集设备。设备管理器可从“实用工具”菜单或“均匀性交互式设置”窗口打开。选择完成后,按“保存” 。

设备管理器。已选择高清 USB 摄像头(1920x1080 像素)。准备就绪后,请按“保存” 。

如果可能,在采集数据之前,应在“设置”下拉菜单中将“信号平均”设置为所需的数值,并勾选“计算图像平方平均” (其功能与上文提到的 EMVA-1288 的“读取 n 个文件...”相同)。(此名称可能会更改。)使用“均匀性交互式”窗口左下角的“采集图像”(读取图像文件)按钮,即可轻松重复数据采集。

在“更多设置”窗口中,应将EMVA 1288设置为“EMVA 1288 计算:盒式滤波器”。5×5 盒式滤波器是一种高通滤波器(详见 §C.5),旨在抑制低频空间变化。

右侧的EMVA 重置按钮会删除存储在 imatest-v2.ini 中的 EMVA 1288 批处理结果。
EMVA 1288 清单

拍摄一张明亮或黑暗的平场图像。

要直接采集数据,请使用设备管理器选择设备。打开“均匀性交互式”程序。在“设置”下拉菜单中,选择“信号平均” ,然后选择要平均的图像数量(必须≥128;建议128),并确保选中“平均时计算图像²” 。然后采集图像。

从已保存的图像文件中,选择一批文件,然后务必在确认窗口中选择“读取 n 个文件以检测基于像素的时间噪声 (N >= 4)”。

在“均匀性”或“均匀性交互式更多设置”窗口中,选择“EMVA 1288 计算”和“盒式滤波器” 。对于“均匀性” ,选择图表。

结果

在“显示”下拉窗口中选择的几个图表包含 EMVA 1288 结果。这些图表包括直方图、累积直方图、 V&H 频谱、 PRNU、DSNU 和直方图以及时间噪声图像。

PRNU、DSNU和 Hist包含结果摘要。

在 Flatfield(固定模块)中选择此图时,将省略直方图(在其他图中可用),以便可以看到整个输出。

请注意,PRNU/DSNU 统计数据需要来自明暗两组图像数据。要生成这些统计数据,请选择“读取图像文件”,并对一组暗图像(如果先计算了暗图像,则对一组亮图像)重复分析。为了计算 DSNU/PRNU 统计数据,明暗图像必须具有相同的大小和类型(单色、拜耳原始图像或去马赛克图像)。

当浅色和深色数据都已加载和分析完毕后,PRNU/DSNU 统计信息将显示在结果表中:

在“保存数据”窗口中,可以将这些统计数据保存到 JSON 或 CSV 文件中。

还有一些其他结果也很有意思。

标准直方图——参见 EMVA §8.4 图 13。可针对浅色或深色图像进行计算。以下是两个示例,分别展示了未使用和使用盒式滤波器的情况。EMVA 1288( §C.5)推荐使用盒式滤波器来去除低空间频率的非均匀性。

不带盒式(低通)滤波器的直方图带盒式(低通)滤波器的直方图

累积直方图——见 EMVA 第 8.4 节图 14。我们不确定如何使用它们。不包含 EMVA 所需的结果。

累积直方图(带盒式滤波器)

水平和垂直频谱图及剖面图——详见 EMVA 第 8.3 节和 8.4 节,此处合并显示。这些图不包含 EMVA 所需的计算结果。提供多种平滑设置。

频谱图和轮廓

时域噪声图像——根据绿色方框(上方)中的公式定义,计算每个像素的时域噪声功率(方差) σ²和均方根电压σ ,即,它们是图像。对于 EMVA 计算中使用的平场图像,时域噪声图像意义不大,但对于测试图图像,它们却非常重要,因为它们展示了图像处理在图像场中的差异。(应用双边滤波时,噪声通常在边缘附近比在平滑区域更大。)更多详情请参见“时域噪声”部分。