基于倾斜边缘的图像信息度量:方程和算法

这项工作的基本前提是,信息容量和相关指标在衡量边缘和目标检测性能方面优于常用的指标(清晰度和噪声),可用于预测和优化成像系统的性能。

相关页面

图像信息指标:信息容量及更多内容包含有关图像信息指标的文档、白皮书、新闻等的关键链接。

2024 年 8 月修订版的《电子成像 2024》论文《倾斜边缘的图像信息度量》包含了对图像信息度量最完整、最新的阐述。此外,在“图像信息度量”链接的三篇白皮书中,也以不同程度的详细程度介绍了相关内容。

倾斜边缘的图像信息指标:说明包含执行本页所述计算的说明。

倾斜边缘法速度更快、更方便,更适合测量图像的总信息容量,因此推荐用于大多数应用;但西门子星形法(2020)更适合观察图像处理伪影(去马赛克、数据压缩等)的影响。

本页包含图像信息度量的公式和算法,包括如何从倾斜边缘图像(Imatest 最常用的测试图像)计算信息容量C ,以及如何从同一位置计算信号和噪声,从而获得更优的图像质量测量结果。它是《倾斜边缘图像信息度量:说明》中计算的参考。

附录 1简要介绍了信息论。

推荐阅读

截至2024年4月,描述图像信息指标的文档过多。本文是最早的文档之一(可作为说明页面的交叉引用)。我们将通过添加指向其他页面的链接来维护其准确性,但不会添加详细内容。

要了解图像信息度量,我们推荐阅读发表于2024年电子成像会议(Electronic Imaging 2024)的论文《 倾斜边缘的图像信息度量》(Image information metrics from slanted edges ),该论文于2024年8月进行了修订。它对图像信息度量进行了最全面的阐述。此外,还有两篇白皮书(一篇简化版,一篇详细版)涵盖了类似的内容,但详细程度有所不同。

eSFR ISO 图表。自动检测 ROI,结合 MTF、颜色、色调和噪声测量。

新测量方法简介

本页介绍Imatest 的信息容量相关测量方法,这些方法利用了倾斜边缘( Imatest最常用的 MTF 测量模式)的最新发现特性。许多新指标已应用于医学成像,但由于测量难度较大,因此鲜为人知。我们介绍了一种便捷的倾斜边缘测量方法,该方法利用了两种不同的噪声测量方法,用于在信号存在的情况下测量噪声。

  1. 边缘方差计算测量空间相关的噪声N ( x ) ,并用它来计算近似的相机信息容量。
  2. 噪声图像计算测量频率相关的噪声N ( f ) ,并用它来计算替代信息容量以及几个额外的图像信息指标,包括噪声功率谱 (NPS ) 、噪声等效量子 (NEQ )和SNRi 。

我们可以从采用截然不同的图像处理方法的图像中获取信息容量。

本文概述了倾斜边缘法计算MTF的方法,该方法自2000年以来一直是ISO 12233标准的一部分。

测量噪声的两个步骤

在倾斜边缘存在的情况下,噪声测量分两步进行。首先,通过对感兴趣区域(ROI)内每条扫描线的平方求和,计算空间相关的噪声功率N ( x ) 。在大多数情况下,这使我们能够利用N ( x )中是否存在峰值来判断是否应用了非均匀图像处理(例如双边滤波),从而即使在非均匀处理的情况下,也能近似计算信息容量C。

第二步计算噪声图像的噪声功率谱NPS ( f ) ,具体解释如下。此步骤不适用于双边(非均匀)滤波图像。它能完整地表征噪声。此处描述这两个步骤是为了避免混淆。

第一步,空间相关噪声N ( x )的边缘方差计算方法首先被开发出来,并在 2023 年电子成像会议上提出。它能够对所有类型的图像处理进行信息容量C的初步计算。相机内 JPEG 图像中常见的双边(非均匀)处理可以通过N ( x )中的峰值来识别。

步骤 2 ,噪声图像计算,测量噪声功率(维纳)谱NPS ( f ) ,必须使用∫N ( x ) dx进行归一化。这可以完整地表征噪声,并允许计算图像信息指标,包括NEQ ( f )、 SNRi和边缘位置标准差( σ ) (1/ Edge SNRi) 。此步骤仅适用于经过最小/均匀处理的图像。

为了报告信息容量,我们目前推荐使用步骤 2 的结果,该结果更为准确,因为它使用了正确的噪声频谱NPS ( f ) ,但仅适用于经过均匀处理或极少处理的图像。步骤 1 的结果假设NPS为平坦(白色),因此可以对双边滤波图像(大多数消费级相机拍摄的 JPEG 图像)的性能提供一个有用的(尽管并不完美)近似值。

噪声测量的两个步骤:1. N ( x )和 2. NPS ( f )

A:边缘方差噪声计算

摘要:将扫描线的平方相加得到边缘方差,然后用它来计算初始信息容量。 

边缘方差信息容量的计算在白皮书《 新的倾斜边缘图像质量测量:边缘方差计算》和 2023 年电子成像论文《使用倾斜边缘测量相机信息容量》中有详细描述。

计算从倾斜边缘的图像开始( 原始ROI 如下所示),这些图像通常由4:1对比度图生成(2:1到10:1之间的对比度图均可接受)。除了上述的分箱/求和之外,还要对扫描线的平方值进行求和。这样就可以计算边缘的方差σ<sub> s2 </sub> ( x ) ,它等价于信号相关的噪声功率N ( x ) 。

香农-哈特利方程N (x) = σ <sub>s</sub><sup> 2 </sup>( x )中的噪声功率和电压σ <sub>s</sub> ( x )非常重要,因为许多图像(包括大多数消费级相机拍摄的 JPEG 图像)都使用了双边滤波器。这些滤波器会在图像边缘等锐利区域附近锐化图像(增强噪声),并在其他区域模糊图像(以减少可见噪声)。这会掩盖边缘处的噪声,而边缘处的噪声对系统的性能和信息容量至关重要。这项新技术能够使边缘附近的信号相关噪声可见,从而可以将其用于信息容量的计算。此外,它还非常方便。

N的选择取决于图像处理方式。目前已确定两大类。

  1. 图像处理通常较为简单或均匀,通常是从原始文件转换而来的 TIFF 格式文件(raw→TIFF),且未进行双边滤波,也就是说,它们要么没有锐化或降噪处理,要么锐化或降噪处理非常均匀。大多数用于机器视觉/人工智能的相机都属于此类。

    由于噪声可能是x的一个非常粗略的函数,因此需要较大的区域大小才能获得稳定的N值。我们对 ROI 中所有x值取平均值。
    对于 ROI 内的所有x值。

  2. 双边滤波图像包括消费级相机拍摄的大多数 JPEG 图像。

    双边滤波器锐化图像中对比度高的特征(例如边缘)附近的区域,但模糊其他区域(以降低噪声)。这导致边缘附近出现噪声峰值(如下左图所示)。模糊处理可以提高信噪比 (SNR),但会丢失信息。因此,边缘附近的噪声会显著影响相机性能,在计算N 值时应予以高度重视。我们早就知道噪声峰值的存在,但在开发出目前的方法之前,它难以被轻易观察到。

    为了计算信息容量C init ,我们使用峰值处的电压σ的平方,并用长度为PW 20/2 的矩形核进行平滑处理,以消除锯齿状。 这是一个略显随意的选择,但能产生相当一致的结果。这种方法也适用于经过均匀处理的图像,但结果精度较低。

    Imatest允许您选择噪声N的计算方式:可以是N均匀分布、 N双边分布,或者根据峰值的存在自动检测。 
小型相机在 ISO 100 时的边缘噪声幅度。左图:相机内经双边滤波处理的 JPEG;右图:未经锐化的 RAW 格式 TIFF。
x 轴是 4 倍过采样信号的原始像素位置。
倾斜边缘的电压统计数据

香农-哈特利方程中的信号功率S峰峰值幅度为V PP的均匀分布信号的平均信号幅度为— 是一个合理的数值,可用于使用上面所示的香农-哈特利方程计算信息容量,该方程需要平均信号功率, 。

在去除新发现的分箱噪声、选择噪声功率计算、调整边缘信号电平(方波)使其更能代表“平均”信号之后,将数值输入香农-哈特利方程(上文)以计算图表对比度的信息容量。

带宽W始终为 0.5 周期/像素(奈奎斯特频率)。高于奈奎斯特频率的信号不会增加信息量;它们反而会因混叠而降低信息量——混叠是指产生诸如莫尔条纹之类的低频杂散信号,这些信号会干扰真实图像。频率依赖性来源于调制传递函数 ( MTF ) ( f ) 。

将S avg ( f ) 、 N和W代入香农-哈特利方程,即可得到信息容量C 。

边缘方差法的关键结果是:

C4EV是测量 4:1 对比度倾斜边缘的直接结果。它是根据香农-哈特利方程计算得出的,计算过程中使用了几个假设(信号在峰峰值测量范围内均匀分布,且噪声功率谱密度 (NPD) 平坦) 。C4 是C n的一个特例,对于n :1 对比度(强烈建议使用 ISO 标准 4:1), C n对图表对比度和曝光很敏感,因此可用于测量性能与曝光的关系。

C <sub>maxEV</sub> (详见附录 2 )是衡量相机最大信息容量的一种更为稳定的指标,从C <sub>4 </sub> 开始(适用于 4:1 对比度测试图)。此外,它对曝光不敏感,至少对于噪声是信号电压已知函数的线性传感器而言是如此。

以下是边缘方差法的一些关键结果。(此图像经过最少的处理。)

线扩散函数 (LSF) 和信号相关噪声σ来自
eSFR ISO 图像由 RAW 格式转换而来,仅经过少量处理

B. 噪声图像计算

摘要:从原始图像中减去低噪声反投影/去分箱 ROI 图像,得到噪声图像,用于计算噪声功率谱 ( NPS ) 和几个其他测量值。

这一步骤可以全面表征噪声。

噪声图像方法中的关键测量指标。更详细的描述请参见EI2024论文《 倾斜边缘的图像信息指标》 。这些指标在医学放射学中得到了广泛应用。
测量描述
噪声功率谱 NPS ( f )在边缘方差法中,NPS 被隐式地假设为常数(白噪声)——这是一个合理的初始近似值。
噪声等效量子
NEQ ( f )和NEQ信息( f )
频率相关信噪比 (SNR) 的测量。  NEQ ( f)已被用于量化医学图像质量,但在一般成像领域却鲜为人知。NEQ (f)等价于光子散粒噪声占主导地位时传感器检测到的光子数。 当到达图像传感器的量子密度已知时,该方法适用于计算数字量子效率 (DQE)。NEQ info ( f )由以下公式导出:使其非常适合计算信息容量C NEQ 。
信息能力
C 4NEQ
和C maxNEQ
对应于边缘方差法中的C 4NEQ和C maxNEQ (附录 2 ) ,但它们源自NEQ info ( f ) 。它们很接近,但不完全相同。
理想观测者信噪比, SNRi一种用于目标检测的度量指标。根据 Skorka 和 Kane [ 9 ] 的定义,“理想观察者是一个贝叶斯决策者,它最大化具有两个可能结果的假设检验的统计精度。” 我们提出的 SNRi 指标用于衡量小目标(正方形或长方形)的可检测性,这些目标通常对比度较低。
边缘位置σ
(1/Edge SNRi)
一种基于物体(边缘)梯度边缘定位的度量方法。详见《 倾斜边缘的图像信息度量》 。
匹配滤波器传递函数针对特定任务(例如目标检测或边缘检测)提供最佳信噪比的滤波器传递函数。详见《 倾斜边缘的图像信息度量》 。
噪声自相关性噪声电压谱的傅里叶逆变换。与传感器电串扰有关。
获取和显示这些结果的说明位于[此处]。
信息容量……说明页。

噪声图像计算是噪声计算的第二步。它全面表征噪声,并用于计算信息容量和相关性能指标,我们称之为图像信息指标。

此计算涉及反转 ISO 12233 的分箱过程。注意到 4 倍过采样边缘是通过交错 4 个分箱的内容创建的,每个分箱包含从原始图像中提取的平均(降噪)信号,我们应用分箱算法的逆过程,将每条扫描线的内容设置为其对应的交错分箱( 如下图所示的逆分箱 ROI )。由于逆分箱图像几乎是原始图像的无噪声副本,我们可以通过从原始图像中减去逆分箱图像来创建噪声图像。下图右侧显示了调整后的噪声图像 ROI ,其均值(零)调整为中间灰色。

噪声图像可以通过从原始图像中减去反向投影图像来创建,并校正边缘方向上的不均匀性。下图显示了三幅图像。噪声图像(右下角)的平均值为 0,为了便于显示,已对其进行了提亮和对比度增强处理。这三幅图像均为线性图像:已应用伽马曲线进行显示。

原始投资回报率反向分箱/去交错/
反向投影 ROI
噪声图像 ROI

这些图像可以用于计算几个关键的图像质量参数,包括噪声功率谱和噪声等效量子,这些参数在医学成像系统中广为人知, Ian Cunningham 和 Rodney Shaw 在一篇优秀的综述论文中对此进行了详细描述 [ 4 ]。这些测量方法在医学成像领域之外并不为人所熟知,主要是因为它们难以测量。

噪声功率谱(NPS)

噪声(电压)频谱的平方是通过对噪声感兴趣区域(ROI)进行二维傅里叶变换计算得到的,并注意到初始二维频谱在图像中心处的频率为零。 未归一化的一维噪声功率谱NPS U ( f ) 的计算方法是将二维频谱分割成若干个环形区域(区域数量取决于 ROI 的大小;通常为 6-10 个),然后计算每个区域的平均噪声功率。这种变换使得在垂直和水平调制传递函数(MTF)接近的假设下,可以在一维(而不是二维)上进行计算。噪声功率谱必须使用归一化常数c N进行归一化。 。

NPS与噪声图像方差之间的关系由Cunningham 和 Shaw [ 4 ] 的公式 (3) 和 (8) 给出,我们将其简化为一维形式,并将积分限从 {-∞,∞} 改为 {0, f Nyq },其中f Nyq = 奈奎斯特频率 = 0.5 周期/像素。假设应用 Parseval 定理,

   

上述一维傅里叶变换必须进行缩放,以与上述方程保持一致。

 

噪声等效量子 (NEQ)

是医学成像领域一个广为人知的评价指标,但在一般成像领域却鲜为人知。Brian Keelan 在 2016 年发表的一篇论文 [ 5 ] 中对其进行了描述。本质上,它是一个与频率相关的信噪比(功率比)。其单位是指在光子散粒噪声占主导地位的情况下,产生所测信噪比所需的等效量子数。

其中平均线性信号,  μ可以通过两种方式定义,具体取决于如何解释NEQ 。

如果要使用NEQ来计算DQE (数字量子效率),则, 然后 μ应为原始图像中线性化信号电压的平均值。测量 DQE 需要单独测量到达每个像素的平均量子数。我们将来可能会添加此功能。

熟悉噪声等效量子数 (NEQ) 的含义和用法需要一些时间。Tang 等人的论文《微分相位对比 CT 与传统 CT 成像性能的表征:噪声等效量子数谱 NEQ(k)》就是一个很好的例子,它展示了 NEQ 在医学成像中的应用:该论文具有很强的技术深度。

来自NEQ的信息能力:

NEQ的一种特殊形式, NEQ info ( f ) ,使用以下方法计算:用于根据香农-哈特利方程的一个特例计算信息容量C <sub>NEQ</sub> 。NEQ 信息未绘制在图中。

 

其中带宽W是摄像机的奈奎斯特频率, [作者注:我原以为是我发现了这个联系,但它其实出自Christos Michail 等人关于 PET 扫描仪和数字乳腺摄影的论文。[ 6,7 ] 这些论文非医学影像领域人士不太可能偶然发现。]

理想观测者信噪比(SNRi)

是衡量小物体可探测性的指标。Paul Kane [ 8 ] 和 Orit Skorka 和 Paul Kane [ 9 ] 的论文中对此进行了描述。

[8] 给出了 SNRi 方程的一维形式,但经过相当大的努力,我们确定 [9] 中的二维方程给出了正确的结果。

SNRI曲线,Micro 4/3相机,ISO 100

G ( ν x ,ν y ) 2与μ 2 ΔS 2 ( ν x ,ν y )相同。  MTF ( ν ) 和NPS(ν) 是在一维空间频率下定义的。 单位为周期/像素,线性化信号归一化为最大值 1。

待检测物体通常是一个尺寸为w × kw 的矩形,其中k = 1(对于正方形)或 4(对于长宽比为 1×4 的矩形)。其振幅(在初始分析中)是倾斜边缘的峰峰值电压(如上图“电压统计图”所示)。这通常是从对比度为 4:1 的图表中获得的。

,

其中,当 -1/2 < x < 1/2 时,rect( x ) = 1;否则为 0。

G ( νx , νy )是待检测物体Δg ( x , y )的傅里叶变换,它是用二维形式表示的。

 

SNRI 2是通过数值方法计算的,它创建了一个二维频率数组(0 到 0.5 c/p,共 51 个步长),其中 x 轴表示ν x , y 轴表示ν y ,并且填充了这些频率用于创建二维数组,可以进行数值求和[9]。

对于宽度w从 1 到 10 的每个颜色通道,SNRi 都会显示出来。最新的值(强调较小的对象)为w = 1、1.2、1.4、1.7、2、2.5、3、4、7、10。以前分析过宽度 >10 的对象,但它们对系统性能的了解甚少。

对象可见性

SNRi测量的目标是预测小而低对比度正方形或4:1矩形的物体可见性。SNRi预测结果需要视觉验证。图3(出自一篇经典的SNRi论文[8])展示了一幅可以验证这一预测的模拟图像。

我们为 Imatest 开发了一种显示方式,它利用真实的倾斜边缘图像和一些障眼法来实现这一功能。尽管使用了这些技巧,但数据仍然直接来自采集的图像。

我们展示了两组结果:一组是噪声相对较低的图像,另一组是噪声较高的图像(均来自配备微型4/3传感器的相机,ISO分别为100和12800)。正方形的边长分别为w = 1、2、3、4、7、10、14和20像素。原始图表的对比度为4:1(亮部/暗部=4),相当于迈克尔逊对比度C <sub>Mich</sub> (亮部-暗部)为0.6。外侧正方形的C<sub> Mich</sub> = 0.6。中间和内侧正方形的C<sub> Mich </sub>分别为0.3和0.15。

如何使用这些图像——边缘附近不显眼的洋红色 条纹旨在帮助您找到难以辨认的小方块。黄色数字表示方块的像素宽度。信噪比( SNRi)曲线(至少在初始阶段)代表图表对比度——强烈建议使用 4:1(ISO 12233 标准)。外侧区域对应于信噪比曲线,根据Rose 模型[ 4 ],信噪比为 5(14 dB)应对应于可见性阈值。

低噪点图像,ISO 100

图像噪点较多,ISO 12800
SNRI曲线,Micro 4/3相机,ISO 12800

这两张图片只使用了原始像素,但我们使用了一些技巧,使正方形的边框与被测设备具有相同的模糊效果。

右侧的信噪比 (SNRi) 曲线对应于上方右侧的噪声较大的 ISO 12800 图像。w = 1的方格完全不可见; w = 2 和 3 的方格勉强可见; w = 4 的方格清晰可见。图中, w = 2 时的 SNRi 为 0-5 dB; w = 3 时的 SNRi 为 5-10 dB;这与预期值(可见性阈值约为 14 dB)接近。

正方形是如何形成的

  1. 如果原图宽度小于 170 像素,则需要放大图像,通过在图像左右两侧添加镜像图像来为所有方块腾出空间。如有必要,还可以在底部添加裁剪后的垂直镜像图像。
  2. 创建完整图像的(水平)镜像。这就是“镜像”部分。
  3. 用这些份额创建一个蒙版。背景值为 0,方块值为 1。边缘锐利。
  4. 使用 MATLAB 的 filter2 函数对方块进行模糊处理。这就是“烟雾”效果的实现部分。确定模糊核颇具挑战性。我们发现,仅仅将一维线扩散函数 (LSF) 应用于二维图像无法获得理想的效果,需要更复杂的变换。
  5. 将两幅图像线性化(去除伽马编码)。
  6. 使用蒙版将它们组合起来,保留蒙版 = 0 处的原始图像,使用蒙版 = 1 处的镜像图像,并在其他位置混合它们。
  7. 重新应用伽马编码。

Edge SNRI

Edge SNRi 与(常规)SNRi 类似,区别在于它是用于检测边缘而不是物体的指标。

H ( ν x ,ν y )是待检测物体的边缘(梯度)的傅里叶变换。

对于尺寸为w × kw的矩形,函数是描述该对象的矩形g ( x, y ) 的导数h ( x, y )。

V P−P通常通过对比度为 4:1 的图表获得。SNRi 和Edge SNRi都与图表的米歇尔逊对比度 (( n -1)/( n +1)) 成正比,并且可以针对不同的对比度水平进行缩放。

在哪里被称为“奇脉冲对”,由一对极性相反的狄拉克δ函数组成,它们之间的距离为物体宽度w 。

H ( νx , νy )是待检测物体边缘的傅里叶变换,等价于频率v的2πvG ( vx , vy )。用二维形式表示,

Edge SNRi 2是使用与SNRi 2类似的方程进行数值计算的。

SNRi和Edge SNRi受信号处理(锐化等)的影响,因此可用于评估滤波(在对象识别/机器学习/AI 模块之前应用 ISP 滤波)。

噪声自相关性

该图目前仍处于研发阶段,其添加目的是为了验证以下假设:当去除去马赛克和固定模式噪声的影响,且主要噪声源为光子散粒噪声时,噪声功率谱(以及自相关性)能够指示图像传感器的电串扰量。该假设的基本思想是,入射到传感器上的光完全不相关,因此如果没有串扰,噪声将呈现白噪声特性。

右侧的图片已进行白平衡调整。

该曲线是噪声频谱的|逆傅里叶变换|,基于作者对维纳-辛钦定理的有限理解。

右侧图像未进行白平衡处理。正如我们所预期的,红色通道的自相关距离比其他通道更大。点击图像可放大查看。

在图像统计模块中,也可以从平场图像获得类似的自相关图。已校正照明不均匀性,以降低远距离处的(虚假)自相关性。


调制传递函数 (MTF)——看起来有点不一样
由于 y 轴是对数坐标,因此与标准 MTF 图不同。
用于计算NEQ 。

边缘电压未归一化——用于 NEQ 计算。
比较不同通道的峰峰值振幅很有意思。

香农信息容量的含义

(白皮书附录《 使用 Imatest 测量信息容量》
对信息有简洁的定义。)

在电子通信信道中,信息容量是指信道在无误传输的情况下能够传输的最大信息量,即衡量信道“质量”的指标。实际的信息量取决于编码——即信息的表示方式。虽然编码是数据压缩(图像在文件中的存储方式)不可或缺的一部分,但它与数码相机无关。重要的是以下假设:

假设:感知图像质量(假设图像处理流程调整良好)以及机器视觉和人工智能 (AI) 系统的性能与相机的信息容量成正比,而相机的信息容量是 MTF(清晰度)、噪声以及去马赛克、裁剪(如果存在)和数据压缩产生的伪影的函数。

我强调这只是一个假设——用数学术语来说就是猜想。它与我的经验和大量测量结果相符,但还需要更多的测试和验证。现在信息容量可以用Imatest方便地计算,我们有机会更深入地了解它。

正如我们所提到的,信息容量是带宽W和信噪比S/N的函数。

在介绍香农容量的文本中,带宽W通常被假定为半功率频率,它与MTF50密切相关。严格来说, W log 2 (1+ S / N )仅适用于白噪声(具有平坦频谱)和简单的低通滤波器 (LPF)。但数码相机具有不同程度的锐化,这会导致其响应曲线与简单的 LPF 响应存在显著偏差。因此,我们使用香农-哈特利方程的积分形式:

S和N分别是信号功率和噪声功率的平均值;它们与相机的动态范围(最大可用信号)没有直接关系。因此,我们在计算C 值时会参考测量所用图表的对比度,对于符合 ISO 12233 标准的 4:1 对比度图表,最常用的C 值为4 。

对于西门子星形分析,我们修改了该方程,以考虑像素的二维特性,方法是将其转换为二重积分,然后转换为极坐标形式,最后再转换回一维形式。但对于倾斜边缘而言,这并非必要,因为它们本身就是一维的。

西门子星形法和斜边法的优点在于,信号功率S和噪声功率N是从同一位置计算的:这很重要,因为噪声在图像上通常不是恒定的。

概括

注意:在 Imatest 2020 之前使用的倾斜边缘信息容量测量方法(主要用于从西门子星形测量中获得总信息容量)已被完全弃用,因为它不够准确。

链接( 白皮书中还有更多链接)

  1. CE Shannon,“ 通信的数学理论”,贝尔系统技术杂志,第27卷,第379-423页,1948年7月;第27卷,第379-423页。
    623–656,1948 年 10 月。
  2. CE Shannon,“ 噪声环境下的通信”,IRE 会议论文集,1949 年 1 月,第 10-21 页。
  3. 维基百科——香农-哈特利定理是香农方程的频率相关积分形式,可应用于 Imatest 的正弦模式和倾斜边缘香农信息容量计算。
  4. IA Cunningham 和 R. Shaw, “医学成像系统的信噪比优化”,第 16 卷,第 3 期/1999 年 3 月/第 621-632 页/美国光学学会杂志 A 辑
  5. Brian W. Keelan,“噪声等效量子成像应用”,载于IS&T 国际电子成像研讨会论文集:图像质量和系统性能 XIII ,2016 年, https://doi.org/10.2352/ISSN.2470-1173.2016.13.IQSP-213 。
  6. Michail C、Karpetas G、Kalyvas N、Valais I、Kandarakis I、Agavanakis K、Panayiotakis G、Fountos G.,正电子发射断层扫描扫描仪的信息容量。晶体。2018;8(12):459。https ://doi.org/10.3390/cryst8120459 。
  7. Christos M. Michail、Nektarios E. Kalyvas、Ioannis G. Valais、Ioannis P. Fudos、George P. Fountos、Nikos Dimitropoulos、Grigorios Koulouras、Dionisis Kandris、Maria Samarakou、Ioannis S. Kandarakis,“数字乳腺 X 线摄影中的图像质量和信息容量图”, BioMed Research International ,卷。 2014 年,文章 ID 634856,11 页,2014 年。https://doi.org/10.1155/2014/634856 。
  8. Paul J. Kane,“信号检测理论和汽车成像”, IS&T 国际电子成像研讨会:自主车辆和机器会议论文集,2019 年,第 27-1 - 27-8 页, https://doi.org/10.2352/ISSN.2470-1173.2019.15.AVM-027 。
  9. Orit Skorka、Paul J. Kane,“使用理想观察者模型进行目标检测”, IS&T 国际电子成像研讨会:自主车辆和机器,2020 年,第 41-1 - 41-7 页, https://doi.org/10.2352/ISSN.2470-1173.2020.16.AVM-041 。
  10. R. Shaw,“ 傅里叶技术和信息论在摄影图像质量评估中的应用” ,《摄影科学与工程》,第6卷,第5期,1962年9-10月,第281-286页。转载于Rodney Shaw编辑的《图像评估精选读本》,SPSE(现SPIE),1976年。文中对胶片信息容量的计算进行了深入而复杂的分析。 可供下载。
  11. X. Tang、Y. Yang、S. Tang,《差分相位对比CT与常规CT成像性能的表征:噪声等效量子NEQ(k)谱》 , Med Phys. 2012年7月;39(7): 4467–4482。2012年6月29日在线发表。doi : 10.1118/1.4730287 。
  12. R. Clark Jones,《照相胶片的信息容量》,美国光学学会杂志,第51卷,第11期,1961年11月,第1159-1171页。
附录1:信息论简介
摄影科学家和工程师强调,没有任何一个数字能够令人满意地描述摄影系统再现被摄对象小尺度特征的能力。
克劳德·香农

挑战总是令人兴奋的!电子通信信道就有一个这样的指标——它量化了信道在无误差情况下能够传输的最大信息量。该指标包含了清晰度和噪点(胶片上的颗粒感)。而相机——或者任何数字成像系统——就是这样一个信道。

该指标最早由贝尔实验室的克劳德·香农于1948年发表[ 1,2 ],现已成为电子通信行业的基础。它被称为香农信道容量或香农信息容量C ,其公式看似简单[3]。(更多详情请参见维基百科关于香农-哈特利定理的页面。)   

 

W  是信道带宽,  S ( f )  是平均信号能量(信号的平方)。  电压;与MTF ( f ) ²成正比,而N ( f )是平均噪声能量(均方根噪声电压的平方),对应于胶片颗粒。它看起来很简单(只比E = mc²略微复杂一些),但应用起来并不容易。

克劳德·香农是一位真正的天才。 《与克劳德·香农共度一万小时:天才如何思考、工作和生活》这篇文章非常值得一读。 《纽约客》和《科学美国人》上也刊登过一些关于他的精彩文章。IEEE也有一篇文章,将香农与机器学习和人工智能的发展联系起来。我尤其对时长29分钟的视频《克劳德·香农——信息时代之父》感兴趣,这部视频由加州大学圣地亚哥分校记忆与记录研究中心制作,我以前工作时经常去那里。

附录 2. 线性传感器的最大信息容量 C <sub>max </sub> 的计算

步骤1:将测得的峰峰值电压范围Vpp替换为最大允许值,即Vp -p_max = 1。这看似简化,但对大多数相机都适用。请参阅信号功率S部分,

步骤 2:用N_mean代替测得的噪声功率N ,即N在0 ≤ V ≤ 1范围内的平均值(其中 1 为最大允许归一化信号电压V )。线性图像传感器的噪声功率N与V的函数关系的一般方程为:

k₀是恒定噪声系数(暗电流噪声、约翰逊(电子)噪声等)。k₁ 是光子散粒噪声系数。它们由噪声功率N₁ = σ₁²和N₂ = σ₂²计算得出,这些噪声功率与边缘跃迁两侧的信号电压V₁和V₂一起测量。

假设N 1 = k 0 + k 1 V 1和N 2 = k 0 + k 1 V 1 ,我们可以解出关于k 0和k 1的两个未知数的两个方程。

N与噪声计算方法 (1) 中使用的噪声非常接近(该方法适用于未经双边滤波的最小处理图像)。但如果使用方法 (2)(平滑峰值噪声)(推荐用于经过双边滤波的相机内 JPEG 图像),则N通常较大,必须进行调整。

N → k N N ,其中k N = N方法_2 / N方法_1

在双边滤波图像(大多数消费级相机拍摄的JPEG图像)中,低通滤波(用于降噪)可能会对N1和N2产生足够大的影响,以至于该方程不再可靠地成立。这会对Cmax的准确性产生不利影响。

计算Cmax时, 0 ≤ V ≤ 1范围内的平均噪声功率Nmean为

为了处理边缘暗侧噪声较大(奇怪的图像处理)这种罕见但并非未知的情况,可以使用N mean = max( N mean , N 1 ,N 2 ) 。

使用 ,

由于高动态范围 (HDR) 传感器中的噪声不遵循线性传感器的简单方程,我们建议给予图像足够的曝光,使边缘较亮的一侧接近(但肯定低于)饱和度,然后保持N不变( N平均值= N )。

对于使用线性传感器的最小或均匀处理的图像, C max几乎与曝光无关,其中噪声功率N是信号电压V的已知函数。

附录 3. 噪声分箱

像素合并噪声与量化噪声具有相同的统计特性,是 ISO 12233 像素合并算法最近发现的一种噪声源。它在图像过渡区域附近最大——即线扩散函数(LSF)处。达到最大值,并且会影响信息容量的测量。这是因为根据扫描线中心位置的多项式拟合(该多项式是一个连续函数),将各个扫描线添加到四个区间之一中。

假设n 个相同的信号μs ( x )在区间{-Δ/2, Δ/2}内进行分箱,其中在分箱算法的 4 倍过采样输出中 Δ = 1(注意 Δ = (原始像素间距)/4)。如果没有分箱噪声,我们预期分箱噪声功率σBnoise2为零。然而, μs ( xk )的值在区间 Δ 内均匀分布的位置xk处求和,因此它们取值为

对于线扩散函数LSF (x)。注意到 δ 在 {-1/2, 1/2} 上均匀分布,我们应用均匀分布方差的公式(类似于量化噪声)得到

。

尽管该方程涉及一些近似值,但我们在计算校正后的噪声方面取得了良好的效果。 . 噪声分箱对传统的MTF计算没有影响。

边缘噪声已去除
这是一张来自微型四分之三系统相机的原始图像,ISO 100,经过最少的处理后转换为 TIFF 格式。

像素合并噪声也会影响采用双边滤波(非均匀锐化)的JPEG文件。去除这些噪声可以提高计算的稳健性。