局部放大

介绍

局部放大率是一种直观的指标，可用于评估图像中的几何畸变。它将物体放大倍率（径向和切向）与图像视野高度联系起来。

Imatest 版本 26.1 增加了基于 Wang等人[1]的方法计算局部放大率和相关指标的功能。

Imatest 通过提供可配置设置、自动化处理和扩展输出，扩展了本文提出的方法，使其能够有效地应用于各种类型的相机和测试目标。如本文所述，Imatest 可以从局部放大数据中导出其他指标，包括径向/光学畸变百分比、电视畸变指标、视场角以及镜头投影方法/映射函数的分类。Imatest 可以将这些额外的计算作为分析的一部分。

目前棋盘格分析支持局部放大倍率计算，但必须在目标设置中明确启用该功能。

关键假设

以下是测量背后的一些关键假设。

• 几何畸变呈径向对称。
• 畸变中心与数值图像中心重合；但是，Imatest 提供了使用检测到的最中心点作为原点的选项。
• 径向映射函数可以用多项式很好地建模。
• 目标网格平面垂直于被测相机的光轴，其中一个网格点位于图像中心，且中心网格行和列与图像帧平行。另请参阅下文的“设置和采集”说明。

示例输出

可用于局部放大的输出和可视化效果包括：

• 检测到的点、径向线和最大半径：此图显示了图像，并叠加了检测到的点、径向线方向和最大半径（圆）。沿选定径向线方向的点用于计算。
• 图像半径与物体半径（正向拟合） ：该图展示了图像半径与物体半径的关系，其中包含来自各个径向方向的样本，以及归一化域中图像半径与物体半径的多项式拟合曲线。在计算多项式拟合之前，每个方向的样本均按相同的网格步长进行平均。
• 物体与图像半径（反向拟合） ：显示物体半径与图像半径的图表，其中包含来自每个径向方向的样本，以及归一化域中物体半径作为图像半径函数的多项式拟合。
• 局部放大率与图像半径的关系图：该图显示了局部放大率（径向和切向）与图像半径的关系。该图由（正向）多项式拟合计算得出。
• 径向畸变百分比与图像半径的关系图：该图显示了径向/光学畸变百分比与图像半径的关系。该值由局部放大率曲线计算得出。
• 局部径向和切向放大图：显示检测到的网格的图，其中每个点的局部放大（径向或切向）已评估，并以颜色图的形式叠加。
• 畸变校正后的图像：该图显示了畸变校正（无畸变）后的图像。原始图像使用（正向）多项式拟合进行畸变校正，并通过线性插值重采样到原始图像大小。
• 投影分类：显示图像半径与视场角的图表，包括典型投影映射函数和估计的视场角。

注：绘图坐标轴单位可配置。局部放大倍率坐标轴可以表示为绝对值（图像比例因子）或中心归一化值。图像半径坐标轴可以表示为像素、毫米（图像传感器上的单位）或归一化值（最大图像半径）。物体半径坐标轴可以表示为网格步长、毫米（物体上的单位）或归一化值（最大图像半径）。

结果和数据也包含在 Imatest 的标准 CSV 和 JSON 输出文件中。

计算

注意：局部放大倍率的计算与 Imatest 中其他预先存在的几何畸变计算是分开的。Imatest 棋盘格分析生成的径向畸变模型与局部放大倍率相关的模型不同，并且依赖于不同的设置、计算等。

有关局部放大率及其相关指标的计算详情，请参阅参考文献。Imatest 基本遵循该文献中描述的方法，仅有少量偏差。

下面列出了对本文所述方法的扩展和偏差。

扩展

• （扩展）自动检测网格样本（来自棋盘格检测）。
• （扩展）可配置的多方向采样，除了从基本方向（北、东、南、西）采样外，还允许沿对角径向方向（东北、东南、西南、西北）使用网格采样。
  • 注意：对角径向方向在额外的网格步长距离处引入样本（对角步长约为 1.41，而水平或垂直步长为 1），为多项式拟合提供额外的数据点。
• （扩展）可配置失真原点（失真中心）：数值图像中心（来自纸张）或最中心点，即检测到的网格中心（扩展）。
  • 注意：如果网格中心偏离数值图像中心，则使用最中心点作为原点可能很有用，因为它可以减少可能使多项式拟合不稳定的系统偏差。
• （扩展）可配置的失真最大半径：图像边（左/右或上/下，从纸张算起）、最外点（扩展）、图像角（扩展）或自定义像素半径（扩展）。
• （扩展）允许使用最小调整 R²（而不是标准最小 R²）作为多项式拟合度搜索的标准（通过“使用调整 R²”切换设置）。
  • 注意：调整后的 R² 对较高阶数/次数的多项式施加惩罚，这可以减少过拟合。
• （扩展）生成论文中未包含的其他图表/可视化内容，包括：
  • （扩展）检测到的点、径向线和最大半径：请参见上面的示例图。
  • （扩展）局部径向和切向放大图：参见上面的示例图。
• （扩展）提供其他单位的相关数据/结果。
  • （扩展）除了归一化（来自纸张）之外，图像半径的绘图轴单位还可以用像素或毫米（在图像传感器上）表示。
  • （扩展）除了归一化（来自纸张）之外，物体半径的绘图轴单位还可以用网格步长或毫米（在物体上）表示。

偏差

• （偏差）数值图像中心定义为使用 IEEE Std 2020 [ 2 ] IV 型坐标系得到的图像帧的精确几何中心，例如，对于 100x100 的图像，其中心为 [50.5, 50.5]。这种区别主要是语义上的。
• （偏差）对于将物体半径映射到归一化域中的图像半径的正向和反向多项式拟合，强制采用零截距。这限制了畸变模型通过原点，从而确保物理一致性（即，场景中的零半径映射到图像中的零半径）。
  • 注意：初始多项式拟合（以网格步长为单位的物体半径与以像素为单位的图像半径的函数）用于估计选定最大图像半径处的物体半径，因此不强制要求截距为零。放宽此初步步骤的限制有助于优先保证最大半径处的拟合精度。

指示

以下是测量局部放大倍率的说明。

设置与采集

1. 测量目标的网格间距，例如，棋盘格的高度。
2. 将相机与目标对准。
   1. 目标网格平面应垂直于相机的光轴，其中一个网格点（例如，棋盘格鞍点）与数值图像中心对齐。
   2. 目标网格的中心行和中心列应与图像帧的边缘平行。
   3. 目标网格应充满图像框。
   4. 目标网格应至少有一个可检测的网格点（例如，棋盘格鞍点），靠近图像边缘或所需的最大半径。
3. （可选 - 用于视场角和投影分类）测量摄像机入射光瞳与目标中心之间的距离。
   1. 注意：相机入射光瞳的位置通常位于相机镜头内的某个位置。
4. 拍摄目标图像。
   1. 目标图像应清晰对焦且曝光良好。
   2. 图像的整体质量应足够好，以至于反射、噪声或其他图像伪影不会降低网格点（例如，棋盘格鞍点）检测/定位的精度。
   3. （可选）可以使用 Imatest 捕获多张图像并进行平均，以减少各种噪声的影响。

以下示例图像来自奥林巴斯 EXERA II 相机，该相机与参考论文中测试的相机相同。根据论文所述，图像传感器的像素间距为 2.8 微米。假设方格高度为 4 毫米，目标距离约为 25 毫米。相机和目标基本对齐，但并非完美对齐，因为最中心的网格点与图像中心略有偏移。

Imatest 分析

1. 在主窗口中，导航至“设置”>“失真”（或“锐化”）>“棋盘格”>“局部放大” 。
2. 启用“计算局部放大率”功能，让 Imatest 计算局部放大率及相关指标。
3. 输入图像传感器像素间距（单位：微米）。
4. 输入目标的网格间距，例如棋盘格的高度，单位为毫米。
5. （可选）启用计算投影分类，使 Imatest 能够根据局部放大率数据计算视场并对镜头投影方法/映射函数进行分类。
   1. 请输入目标距离（相机入射光瞳与目标中心之间的距离），单位为毫米。
6. （可选）启用“计算电视失真”功能，使 Imatest 能够根据局部放大数据计算电视失真指标。电视失真结果将包含在 JSON/CSV 输出文件中。
7. （可选）配置其余计算设置。
   1. （可选）配置径向方向，以选择用于计算的检测网格中的哪些点。在计算多项式拟合之前，将所选方向的样本按公共网格步长距离进行平均。
   2. （可选）配置原点以选择失真测量的原点。
   3. （可选）配置最大半径，以选择定义失真测量和归一化最大半径的图像边界。
   4. （可选）配置多项式拟合度，以选择映射图像半径和对象半径的多项式拟合度，或用作自动选择度搜索的最大度数。
   5. （可选）启用自动选择阶数：边界拟合，以自动选择初始多项式拟合的阶数（基于最小 R² 标准），用于估计所选最大图像半径（最大半径）处的对象半径。
   6. （可选）启用自动选择阶数：归一化拟合，以自动选择用于计算局部放大率的多项式拟合的阶数（基于最小 R² 标准），以及相关的逆拟合。
   7. （可选）配置最小 R² ，以指定在自动选择度搜索期间，拟合必须满足的最低可接受决定系数 (R²)。
   8. （可选）启用“使用调整后的 R²”功能，使自动选择度搜索使用调整后的 R² 而不是标准 R² 进行评估。
8. （可选）配置用于自动/批量分析的局部放大倍率自动（批量）绘图设置。这些设置不会影响交互式分析中的绘图。
   1. 选择各个绘图坐标轴的单位。选择多个单位将生成相应图表的多个版本。
   2. 选择图表的输出文件格式。
   3. 选择要保存和/或显示的图表。
9. 加载并选择要用于分析的图像。
10. 选择合适的分析目标（例如，棋盘格）。
11. （可选）单击所选目标上的齿轮图标打开设置窗口，配置任何特定于目标的设置，例如检测设置、裁剪、常规输出等。
    1. （可选）单击“设置”窗口左侧的“自动模式设置”来配置棋盘格自动（批处理）设置。这些设置不会影响交互式分析。
       1. （可选）启用/禁用 CSV 和 JSON 输出（默认情况下均已启用）。
       2. （可选）更改保存结果的文件夹（默认行为是在包含被测图像的目录中创建一个名为“Results”的子文件夹）。
12. 运行分析。
    1. 交互的：
       1. 在设置窗口中，验证点检测和覆盖范围是否足够好。
          1. （可选）选择ROI 选择和分析下的“无区域：快速几何计算”选项，以禁用非几何计算，例如 SFR。
          2. （可选）选择裁剪边界，选择图像裁剪区域，对于局部放大计算，该区域只会影响棋盘格点检测。
          3. （可选）选择目标检测设置来配置棋盘格检测设置。也可以通过导航至“设置”>“失真（或锐化）”>“棋盘格”从主窗口配置棋盘格检测设置。
       2. 点击“确定”继续分析。
       3. 等待分析完成。
    2. 自动（批量） ：
       1. 等待分析完成。
13. 查看结果。
    1. 交互的：
       1. 从Rescharts 窗口，导航至显示选项18. 局部放大倍率，以查看与局部放大倍率相关的各种图表。
       2. 绘图坐标轴单位可通过下拉菜单进行配置。
       3. 点击右下角的“保存数据” ，即可将结果/数据保存到标准输出文件（JSON 和 CSV）。
       4. 点击右下角的“保存屏幕”按钮，即可保存当前屏幕的截图。
    2. 自动（批量） ：
       1. 导航至输出结果文件夹，查找各种绘图输出和标准输出文件（JSON 和 CSV）。
       2. 输出结果将反映“局部放大自动（批量）绘图”下选择的设置，以及与特定目标分析相关的设置。

尖端

• 检查每个输出结果。
  • 查看检测到的点、径向线和最大半径图。
    • 检查沿所选径向方向检测到的点位置（这些点用于计算）是否足够精确。
    • 检查网格中心点是否与数值图像中心重合（或接近）。
    • 检查图像边界附近是否存在与所选最大半径相对应的至少一个检测到的点。
  • 查看图像与物体半径（正向拟合）图。
    • 正向多项式拟合的精度直接影响局部放大率和其他衍生指标（例如径向畸变百分比）的精度。反向多项式拟合专门用于计算电视畸变指标（包含在结果文件输出中）。
    • 检查每个径向方向上的样本是否分布分散。分布分散明显意味着相机与目标未对准、图像畸变不对称或点检测不准确。
    • 检查是否存在可能使平均样本或整体测量产生偏差的显著异常样本，例如，由于点检测不准确而导致的异常值。
    • 检查外推（粉色）区域是否较小，以及在选定的最大半径处估计的对象半径是否准确。
  • 查看局部放大倍率与图像半径的关系图。
    • 局部放大的一个优点是它反映了人们肉眼所能看到的事物。
    • 检查（中心归一化的）局部放大倍率是否与人眼所见的图像中网格大小的变化相符。
  • 查看畸变校正后的图像图。
    • 检查图像中网格的笔直程度。这可以很好地用于评估（正向）多项式拟合对图像畸变的拟合程度。
• 了解测量方法的局限性。
  
  • 径向多项式畸变模型是近似值，可能无法完全描述图像中存在的畸变，尤其是在存在不对称或错位的情况下。
  • 多项式拟合的 R² 值越高，表示对数据的拟合效果越好，但并不一定表示对图像中实际径向畸变的拟合效果越好。
    • 使用调整后的 R²来惩罚高阶模型。
    • 为了获得稳定的模型输出，请指定多项式拟合阶数并禁用自动选择阶数搜索。
  • 外推区域的测量结果通常不太可靠。多项式拟合中包含的最外侧网格点之外的任何半径都必须进行外推。
    • 为尽量减少外推，请确保至少有一个检测到的网格点位于所选最大半径边界附近（例如，图像边缘、角点或自定义半径）。如果存在位于所选最大半径之外的点，则边界样本将通过插值确定。如果将最大半径设置为最外侧的检测点，则边界样本将直接由测量数据定义，无需插值或外推。
    • 外推区域的精度将直接影响其他输出相应区域的精度，例如视野边缘的局部放大倍率。
      • 例如，参考文献中的结果显示，局部径向放大率在视场边缘先逐渐减小，然后增大，而不是继续减小（表1和图11）。这一区域很可能存在误差（我们预期放大率在其桶形畸变图像的边缘会持续减小），其畸变校正后的图像（图15）也进一步证实了这一点，该图像在边缘处呈现出明显的曲率。这种误差实际上是由于通过外推法低估了图像最大半径（图像边缘）处的物体半径造成的。作者将部分误差归因于图像边缘附近网格点定位不准确（见4.2节），这会导致上述现象。
• 查阅相关背景资料。
  • 该参考文献提供了详细的方法论信息和背景理论。
  • 维基百科上关于“ 鱼眼镜头”的页面对典型的镜头投影方法/映射函数有相当不错的描述。

结果

有关 JSON/CSV 输出的文档，请参阅单独的“局部放大结果”页面。