影像防手震/清晰度對比

基本介紹

Imatest影像穩定/清晰度比較模組是SFRplus的後處理器，

透過比較三張相似的SFRplus影像中選定的近水平和近垂直邊緣的清晰度（MTF 或相關長度），來衡量光學影像穩定（簡稱IS或OIS ）的有效性：

堅定不移。
未開啟影像穩定功能時發生抖動。 （一些新相機無法關閉影像穩定功能。在這種情況下，有幾種方法可以測量影像穩定功能的有效性。一種方法是使用非常精確的振動裝置，並已知振動角度。這種方法很昂貴。另一種方法是使用像素配置和鏡頭焦距相似但沒有光學防手震功能的相機進行測試。）
影像穩定功能導致畫面抖動。

標準SFRplus圖表

有額外空間的特製 SFRplus 圖表
中心廣場附近發生劇烈震動

以下將簡要討論用於測量影像防手震效果的影像擷取和選擇。摘要：對於未抖動的情況，一張圖像即可；但對於抖動情況（包括未防手震和有防手震兩種情況），則需要十張或更多張影像中最差（最不清晰）的一張。

比較兩張影像的清晰度。影像穩定/清晰度比較功能在某種意義上是MTF 比較功能的推廣，後者比較的是兩個感興趣區域（ROI；來自不同影像或同一影像）的清晰度。影像穩定/清晰度比較功能可以產生整個影像的比較圖。

影像穩定/清晰度比較的輸入是由SFRplus創建的兩到三個JSON檔。

後處理器比較每個功能都允許您比較不同區域和/或影像的清晰度。
MTF比較	用於處理 SFR、SFRplus 和eSFR ISO 影像的後處理器。輸入檔為兩個分別對應不同區域的 CSV 結果檔。此處理器可讓您比較任意兩張影像（或同一張影像）中任意區域的邊緣。它會顯示兩張影像的 MTF 以及傳遞函數 (A/B) 或 (B/A)。
OIS/影像對比影像穩定/ 清晰度對比	僅適用於 SFRplus 的後處理器。輸入為兩到三個 JSON 結果檔。必須在 SFRplus 設定視窗中啟用影像防手震功能。所有檔案的區域選擇必須相同，但檔案大小可以不同。允許您比較區域（大致相同位置）或整幅影像的清晰度。可以比較兩個影像檔案的清晰度，或使用三個影像檔案計算（光學）影像防手震的效果。
批次視圖	這款後處理器支援 SFR、SFRplus 和eSFR ISO （主要針對 SFRplus），可批次處理多個文件，並將結果匯總儲存在名為「root file _sfrbatch.csv」的文件中，方便您比較結果。它最適合測量中心、局部、邊角以及不同光圈下的加權平均清晰度，但功能非常全面：它可以分析任何影像序列。

為了簡潔起見，本頁剩餘部分我們將把該模組稱為影像穩定器。

手術

拍攝照片。光線應均勻且無眩光（請參閱照明建議）。光照強度很重要，因為它會影響快門速度（在手機相機中）。應記錄入射照度和快門速度。相機應安裝在至少具有俯仰和偏航運動的防手震平台上。橫滾運動是理想的，但平移（x、y 和 z）運動的價值相對較小。至少應拍攝十張（或許二十張或更多）有防手震和無防手震的照片。
選擇有無 OIS 功能時拍攝的抖動照片中清晰度最低（最差）的一張。

要快速找到一批影像中最模糊（或最清晰）的影像，可以使用「尋找最清晰檔案」工具。該工具可以讀取一批影像文件，選擇感興趣區域 (ROI)，然後快速對文件進行排序。「尋找最清晰檔案」工具所使用的數值並非標準數值，僅應用於比較一批相似影像。

或者，也可以將一批影像讀入 SFRplus，然後在“驗證”選擇視窗中選擇“合併檔案進行訊號平均”，從而對影像進行平均。

使用SFRplus對兩張影像（用於簡單的清晰度比較）或三張影像（用於影像防手震）進行測試。影像應具有相同的區域設定。右側所示的區域（ROI）選擇是影像防手震的理想選擇：它包含 5 個垂直邊緣和 5 個水平邊緣（足以顯示中心和角落區域的抖動影響，並區分俯仰、偏航和橫滾分量）。 5 到 13 個區域是比較合適的選擇（超過 13 個區域則過度）。也可以使用自訂邊緣 ID 檔案。

SFRplus 區域選擇

請注意區域寬度選擇（位於裁切邊界下方）。對於抖動的影像，建議選擇「更寬（或最寬）」的「OIS平滑」模式，因為抖動影像的模糊統計特性與標準的類高斯模糊截然不同（由於振動的正弦特性，模糊統計特性會加倍）。

請確保在SFRplus 的「更多設定」視窗（如右圖所示）中選取「影像穩定」複選框。這樣才能將影像穩定所需的結果儲存到JSON摘要檔中。

如果您是從Rescharts （或SFRplus 設定）執行程序，請點選「儲存資料」（位於Rescharts視窗底部）。確保在「儲存 SFRplus 結果？ 」視窗中選取「JSON 摘要檔」 。請注意 JSON 摘要文件的位置：它們將用作影像穩定功能的輸入。

從目標中選擇“影像穩定”來運行影像穩定模組。

將會彈出如下所示的視窗。

首次運行影像穩定功能時，底部三個視窗（分別位於“1. 未抖動” 、 “2. 抖動但不啟用 OIS” 、 “3. 抖動但啟用 OIS ”右側）將為空。後續執行這些視窗時，它們將顯示最近一次執行的檔案名，該檔案必須是SFRplus產生的JSON輸出檔。

請在對應的方塊中輸入 JSON 檔案（SFRplus 儲存的輸出檔）的名稱。
如有必要（如果您沒有輸入新的檔案名稱），請按右側的「計算」按鈕顯示結果。

結果如下圖所示。

影像穩定指標

影像穩定功能的關鍵目標是計算影像穩定帶來的清晰度提升。在進行計算時，需要考慮以下幾個因素。

應從計算中移除未抖動影像的模糊，以便比較結果僅顯示影像穩定效果。
為了進行有效比較，使用和不使用影像穩定功能拍攝的抖動影像應該能夠同樣代表抖動的程度。這通常需要從大量影像中選取抖動最嚴重的影像，如上所述。目前，我們暫且省略更多細節，例如防手震裝置的選擇以及獲得良好統計樣本所需的影像數量。

影像穩定功能的主要結果是未抖動影像、未啟用光學防手震 (OIS) 的抖動影像以及啟用 OIS 的抖動影像的平均邊緣品質和調變傳遞函數 (MTF)。所有其他指標均由此數值推導而來。以下術語表包含理解結果所需的關鍵定義。

定義

用於定義影像穩定指標的術語表

學期	定義
影像
諾斯	源自未搖晃的影像（無搖晃）
搖	源自未經影像穩定處理的抖動影像
OIS	使用（光學）影像穩定（OIS）技術處理抖動影像
主要結果
平均的邊緣	平均邊緣擴展函數（MTF）是透過基於 ISO-12233 標準的超解析度/像素合併演算法，從影像邊緣導出的。 MTF 是平均邊緣函數導數的傅立葉變換的模（絕對值），是距離的函數。
MTF	調製傳遞函數 = 空間頻率響應。它是空間頻率的函數。
衍生邊緣度量（由MTF或平均邊緣導出的單一數值）
MTF50	MTF50 是指 MTF 值下降到其低頻值 50% 時的空間頻率。有多種單位可供選擇。週期/像素是最基本的單位，但其他單位也可能非常有用。通常情況下，MTF50(NoS) > MTF50(OIS) > MTF50(Shake)。在某些特殊情況下（例如噪音），此順序可能會發生變化，需要特別注意。
R1090	平均邊緣的 10-90% 上升距離。
R2080	平均邊緣上升高度為 20-80%。可能比 R1090 更能抵抗邊緣斜坡的影響。
L _MTF L_MTF	對應於 MTF50 的長度（距離），對於表現良好的邊緣，通常接近 R1090。 L _MTF （像素）= 1/(2*MTF50 (C/P) )。

_{L_MTF}是一個有用但不太常用的指標，需要解釋一下。本質上，它是從 MTF 導出的長度（即距離），與 R1090 具有良好的相關性。回想一下，MTF 是傅立葉變換的模（絕對值），這意味著相位資訊已被移除。對於抖動影像，邊緣可能存在顯著的不規則性（不對稱、斜坡等），這些不規則性會扭曲 R1090 或 R2080，使其作為模糊度量不再可靠。這些不規則性通常是邊緣相位的一部分，對 MTF 的影響有限。下圖顯示了一個不規則的邊緣。

當 MTF 的單位為週期數（例如，週期/像素）時，L _MTF = 1/(2*MTF50)。（當 MTF 的單位為線寬（例如，線寬/像素）時，L _MTF = 1/MTF50。）在下面的顯示中，L _MTF = 1/(2*0.0399) = 12.5 像素，恰好接近 R1090。但這種情況並非總是如此。

OIS_SFRplus_抖動_單區域 — 平均邊緣輪廓和MTF（針對表現較差的邊緣）。
L _MTF = 1/(2*MTF50) = 1/(2*0.0399) = 12.5 像素，接近 R1090。

總結－L _MTF （而不是直接從平均邊緣導出的指標，即 R1090 或 R1080）更適合用於計算影像穩定效果，但所有計算結果都將可用。

搖晃和未搖晃的邊緣長度

對應於 NoS、Shake 和 OIS 測量的邊緣長度（R1090、R2080 和 L_MTF）方程式非常簡單明了，但是

為了正確測量 OIS 銳利度提升，必須去除未抖動部分的長度。
來自 Shake 和 OIS 邊緣長度測量。

要達成這個目標有三個方程式。

方法（註：測量是指搖晃測量，無論是否使用 OIS（搖晃，OIS））。	設計- 國家	描述
MTF部門（可能是最準確的）	div	MTF(NoS 移除) = MTF(測量)/MTF(NoS) L(NoS 移除) = 1/(2*MTF(NoS 移除))
簡單差（近似值，不太精確。未來可能會從計算中移除。）	S1	L(移除的無樣本數) = L(測量值)-L(無樣本數)
平方長度差的平方根（近似值，比簡單的減法更精確。如果無法使用 MTF，這是最好的方法。）	S2	L(NoS 移除量) = sqrt(L(測量值) ² -L(NoS) ² )

結果評定

令 L（如下 L_Shake 和 L_OIS 中的 L）為邊長測量值之一（L_MTF、R1090 或 R2080）。

前綴	邊長測量	諾斯移動	增益單位
OIS增益	L_MTF_	div_（僅適用於 L_MTF）	Delta = L_Shake - L_OIS（通常大於0）
	R1090_	S1_	分數 = L_OIS / L_Shake（通常<1）
	R2080_	S2_	百分比 = 100%(1-分數)
			dB = -20 log ₁₀ （分數）

例如，使用 L_MTF 並採用除法去除未抖動模糊後的 OIS 增益（以 dB 為單位）為

OIS_gain_L_MTF_div_dB（這是首選指標，詳見下文。）

優選計算

首選的計算方法是使用 L_MTF，並透過 MTF 除法 (div) 去除未抖動的模糊。它比差分法 ((S1) 和 (S2)) 在數學上更抽象，但簡單直接且準確（並非近似值）。

MTF(僅抖動) = MTF(抖動)/MTF(無抖動) 是移除抖動影像中未抖動模糊後的等效 MTF（無 OIS）。

MTF(僅 OIS) = MTF(OIS)/MTF(NoS) 是去除未抖動模糊後，抖動影像（使用 OIS）的等效 MTF。

這兩個數字推導出的 MTF50 可以用來計算 OIS 增益，但如果 MTF50 的預期順序（MTF50(NoS) > MTF50(OIS) > MTF50(Shake)）改變，則必須小心。

只有當 MTF50(Shake) < MTF50(NoS) 時，MTF50(Shake-only) 才會從 MTF(Shake-only) 匯出。
否則 MTF50(僅搖動) = MTF50(無搖動)。
L _MTF （僅搖晃）= 1/(2*MTF50（僅搖晃）)。

只有當 MTF50(OIS) < MTF50(NoS) 時，MTF50(OIS-only) 才會從 MTF(OIS-only) 推導而來。
否則 MTF50(僅 OIS) = MTF50(無 SIS)。
L _MTF （僅限 OIS）= 1/(2*MTF50（僅限 OIS）)。

使用 L_MTF 計算的 OIS 與無 OIS 情況下的 OIS 增益方程式為：

OIS_gain_L_MTF_div_Delta = L _MTF (僅搖晃) - L _MTF (僅 OIS) = MTF50(僅搖晃)/MTF50(僅 OIS) (分數，通常 > 1)

OIS_gain_L_MTF_div_frac = L _MTF (僅 OIS) / L _MTF (僅抖動) = MTF50(僅抖動)/MTF50(僅 OIS) （分數，通常 > 1）

OIS_gain_L_MTF_div_pct = 100%(1-OIS_gain_L_MTF_frac)（百分比，通常大於0）

OIS_gain_L_MTF_div_dB = -20 log10(OIS_gain_frac)（分貝，通常大於0） （如下圖）

結果

提供三種圖形顯示方式。
第一個顯示（如下）是詳細的單區域結果。可選擇任意區域（本分析中共有 18 個區域）。

表中顯示了未抖動影像、抖動影像（無 OIS）和抖動影像（有 OIS）的 MTF，以及抖動（無 OIS）/抖動（有 OIS）傳遞函數。此表包含此邊緣的所有 OIS 增益結果（源自 L_MTF、R1090 和 R1080；所有未抖動模糊消除演算法，以 Delta、分數、百分比和 dB 表示）。

第二個顯示區域（如下）包含所選指標的多區域結果。選項如下圖所示。多 ROI 和 3D 圖表中的平均 OIS 增益可以設定為僅顯示垂直方向、僅顯示水平方向或同時顯示兩者（所有邊緣）。

OIS_gain_L_MTF_div_dB（首選結果）的多 ROI 圖，顯示指標下拉式選單。
（目前多 ROI 圖和 3D 圖僅提供有限數量的指標。）

第三個顯示介面是所選指標的 3D 圖。

按下「儲存資料」按鈕即可獲得CSV 輸出檔。該 CSV 檔案包含輸入檔案的摘要資訊以及垂直、水平或 V&H 邊緣的摘要結果。以下是 CSV 檔案的部分摘錄：

輸入檔	1
日期運行	2013年1月24日 14:49:02
影像路徑	C:ImatestDataSFRplusMiscImage_Stabilizationnovibes.bmp
標題	novibes.bmp
高度 Pxls	1200	寬度 Pxls	1600	地區	18

（對第二個文件和（如果包含的話）第三個文件重複此操作。）

垂直邊緣的平均值
	僅搖勻	限 OIS	三角洲	分數	%	分貝增益
1. L_MTF_div	14.4877	9.8802	4.6075	0.6812	31.8824	3.3568
2. L_MTF_S1	11.7326	7.4965	4.2361	0.6333	36.6706	4.0072
3. L_MTF_S2	14.8671	10.4262	4.4409	0.7001	29.9929	3.1116
4. R1090_S1	12.4647	7.7476	4.7171	0.6213	37.8658	4.14
5. R1090_S2	15.6516	10.7458	4.9058	0.6875	31.2493	3.2607
6. R2080_S1	8.074	5.1292	2.9448	0.6354	36.4551	3.9865
7. R2080_S2	10.1915	7.1259	3.0657	0.6998	30.0222	3.1304

（水平邊緣和水平/垂直邊緣均需重複此步驟。）

注意：本附錄並非影像穩定說明的組成部分，但對於想要了解 Imatest 演算法與 CIPA DC-X011 演算法有何不同的人來說，本附錄可能很有用。

附錄：關於 CIPA DC-X011-2012 規範的說明

日本相機影像產品協會 ( CIPA ) 發布了一份規範草案CIPA DC-X011-2012《數位相機影像穩定性能的測量與描述方法（光學方法）》，該規範可能對影像穩定功能使用者有一定的參考價值。然而， Imatest 影像穩定模組由於存在一些嚴重的缺陷，並未嚴格遵循 CIPA 規範。

Imatest使用 SFRplus 測試圖（斜邊網格），而 CIPA 使用高對比（黑白）棋盤格圖，黑色方格中心繪有水果靜物圖像。 CIPA 測試圖的邊緣為垂直和水平直線，最小對比為 20:1。 SFRplus 測試圖可以列印成 20:1 的對比度，以滿足 ii §4-2-1 的描述，但如果這樣做，測試圖容易出現影像過曝或飽和現象，從而降低測量精度。我們不建議列印對比度超過 10:1 的 SFRplus 測試圖。（我們目前建議使用 4:1 對比的 SFRplus 測試圖，這與即將修訂的 ISO-12233 標準一致。）
DC-X011 標準完全沒有提及MTF （調製傳遞函數），而 MTF 幾十年來一直是衡量清晰度的行業標準。相反，它使用 10-90% 上升距離，這是一個不太可靠的指標。應用於這些距離的數學計算（例如，用於消除未抖動造成的模糊）只是近似值，而且並不一致（有時是簡單的加減運算，有時是平方和的平方根）。垂直和水平邊緣可能會導致採樣相位誤差（這就是為什麼 ISO-12233 標準中使用傾斜邊緣的原因：請參閱「清晰度——它是什麼以及如何測量？」）。 CIPA 標準建議擷取過多的影像。例如，它建議在不抖動相機的情況下採集十張影像（§4-4-1），但沒有說明如何處理這些影像（最佳情況？最差情況？平均值？）。對於設計合理的傾斜邊緣測試卡，只需要一張圖像即可。

以下是我在閱讀CIPA標準時所做的一些筆記，其中包括標準中使用的晦澀定義詞彙表。

由於CIPA文件第3-3節中的一些術語可能對英語使用者來說比較晦澀難懂，而且這些術語對於理解文件的其餘部分至關重要，因此我們創建了以下詞彙表。模糊的距離單位是：像素或微米。

CIPA DC-X011 術語表

學期	§	定義
(O)IS		（光學）影像穩定
動態模糊程度	3-3-5	搖晃，無光學防手震。
散景	3-3-6	模糊（一般而言）。可能是失焦或相機震動造成的。
散景偏移量	2010年3月3日	模糊度測量是在無抖動的情況下進行的。 §4-2-8 似乎暗示，10-90% 的上升距離（對於線性化影像）是關鍵的模糊或散景指標。
理論運動模糊量	2012年3月3日	模糊度測量是在 IS 關閉的情況下進行的。顯然不包括其他模糊因素（例如，無抖動時的模糊），但這一點尚不清楚。
預計綜合散景量	2013年3月3日	理論估計模糊量 = sqrt((散景偏移量) ² + (理論運動模糊量) ² )
測量綜合散景量	2014年3月3日	開啟 IS 功能後測量總模糊度。
參考運動模糊量	2015年3月3日	用於計算影像防手震性能的值。等於估計的綜合散景量（防手震關閉）減去散景偏移量。聽起來很像理論運動模糊量。如果您感到困惑，請閱讀 CIPA DC-X011 規範的 §3-3-15（但這不太可能消除您的疑惑）。
測量的運動模糊量	2016年3月3日	開啟 IS 功能後測量的總模糊度 - 不動時測量的模糊度。