歡迎來到數據清理的世界！

在精算建模的世界裡，我們幾乎無法獲得「完美」的數據。現實中的數據往往雜亂無章、充滿缺失，甚至異常怪異。本章重點在於修復損壞或缺失的數據。你可以把自己想像成一名「數據偵探」：你的任務是找出線索、修復錯誤，並確保你的模型依然可靠。別擔心，即使起初看起來有點技術性，在讀完這些筆記後，你將掌握一套應對任何數據災難的清晰工具包！

1. 識別問題：什麼是「壞」數據？

在修復數據之前，我們必須先知道問題所在。通常，數據問題可分為兩大類：

1. 缺失數據 (Missing Data)：本該有數值的地方卻是空白（例如：保單持有人年齡缺失）。
2. 損壞或不合理的數據 (Corrupt/Illogical Data)：現有的數據明顯錯誤（例如：保單持有人的年齡被記錄為 -5 或 250）。

如何發現這些問題：

利用 Excel 中的描述性統計 (Summary Statistics) 或篩選器 (Data Filters) 是發現這些錯誤的好方法。如果你檢查年齡的「最大值」發現是 999，你就知道自己找到了需要修復的預留值（placeholder）！

快速回顧：常見的危險訊號 (Red Flags)

• 本應為正數的欄位出現負數（如保費）。
• 未來的日期（如 2050 年的理賠日期）。
• 分類錯誤（如性別欄出現「男性」、「女性」和「披薩」）。
• 極端離群值（數值過大或過小，以至於扭曲了平均值）。

總結要點：請務必先對數據進行「概覽分析」(Profiling)。如果你連漏洞都沒發現，就無法進行修復！

2. 三大核心問題

當你發現錯誤時，必須決定如何處理它。請試著問自己：

1. 問題嚴重嗎？如果 100 萬筆記錄中只有 1 筆缺失中間名，這可能不重要。但如果你的「保額」欄位中有 10% 缺失，那就是個大問題！
2. 我能找到真實數值嗎？你能透過查閱其他資料庫或原始紙本檔案來核實嗎？
3. 我應該修復還是刪除？這就是「修復與刪除」(Repair vs. Remove) 的決策辯論。

3. 修復方法

如果你決定修復數據，以下是標準的精算技巧：

A. 刪除（「最後手段」）

如果一筆記錄損壞嚴重到完全不可信，你可能需要刪除整列資料。 例子：一筆人壽保險記錄同時缺失了年齡、性別和保額。這筆資料完全無用！ 警告：要小心。如果你刪除太多記錄，可能會引入偏差 (Bias)（例如：如果你只刪除了老年人的記錄，你的模型會錯誤地認為所有人都是年輕人）。

B. 平均值/中位數填補 (Mean/Median Imputation)

這意味著用該欄位其餘數據的平均值或中位數來填補空白儲存格。 類比：如果你正在組織一次團體聚餐，而有人忘記告訴你他們的預算，你會假設他們的花費與團隊的「平均」水平相近。

C. 邏輯預設值 (Logical Defaults)

有時你可以根據其他線索推斷出數值。 例子：如果「吸煙狀況」欄位空白，但該保單屬於「非吸煙者優惠」產品，那麼將其設定為「非吸煙者」是合乎邏輯的。

D. 線性插值法 (Linear Interpolation)

如果你有一組數列中間有斷層，你可以嘗試「橋接」這個缺口。 如果你已知時間 1 的數值為 10，時間 3 的數值為 20，你可以假設時間 2 為 15。 在兩個點 \( (x_0, y_0) \) 和 \( (x_1, y_1) \) 之間進行線性插值以求得特定 \( x \) 對應之 \( y \) 的公式為： \( y = y_0 + (x - x_0) \frac{y_1 - y_0}{x_1 - x_0} \)

你知道嗎？「插值」(Interpolation) 一詞源自拉丁文 inter（在……之間）和 polare（平滑/打磨）。這確實就是在平滑處理中間的空隙！

4. 記錄你的變更（審計軌跡 Audit Trail）

在 CP2 中，你如何修復數據，通常不如你如何解釋它來得重要。你必須保存每一次變更的記錄，這稱為審計軌跡 (Audit Trail)。

數據修復的「黃金法則」：

1. 絕對不要覆蓋原始數據：務必保留「原始數據」(Raw Data) 和「已清理數據」(Cleaned Data) 分頁。
2. 標記你的修復：建立一個名為「Repair_Flag」的新欄位。如果你修改了數據就標記為「1」，原始數據則標記為「0」。這有助於你日後追蹤修復的影響。
3. 證明你的選擇：不要只說「我修復了它」。要說明「我將 5 個缺失年齡替換為中位數 42 歲，以避免縮減樣本規模」。

總結要點：模型的品質取決於它的文件記錄。如果同事無法精確重現你的「修復過程」，你就沒通過審計軌跡測試。

5. 應避免的常見錯誤

• 忽略「零」與「空白」的區別：空白儲存格代表「沒有數據」，而零是一個特定的數值。除非有充分理由，否則不要將兩者混為一談！
• 修復沒壞的東西：有時一個「離群值」實際上是真實且特殊的數據。不要僅因為賠償額巨大就刪除它；那筆理賠可能是你風險分析中最重要的一部分！
• 沒有檢查一致性：如果你將年齡修復為 25 歲，請確保「駕駛經驗年數」不是 30 年！

6. M.E.N.D. 記憶口訣

當你發現數據錯誤時，記得運用 M.E.N.D. 法則：

M (Measure) - 衡量：到底有多少數據缺失或出錯？
E (Examine) - 檢查：是否有規律？（例如：是否只有女性的年齡缺失？）
N (Note) - 記錄：在動手前，先記錄下你發現的一切。
D (Decide) - 決定：選擇一種修復方法（刪除、填補或預設）並解釋原因。

最終重點總結

修復數據並非要讓數據變得「完美」，而是要讓數據適用於預期用途 (fit for purpose)。每一次你修復數據，其實都是在做出一項假設。你在 CP2 中的目標是做出合理的假設，並清晰地傳達給讀者。你可以做到的！