歡迎來到數據準備階段！

你好！歡迎來到 CP2 課程中最關鍵的部分之一。在精算師建立精密的模型或進行未來預測之前，必須先處理「原始資料」（Raw Data）。你可以把這個階段想像成準備製作高級料理的食材：如果你用沒洗過的蔬菜或變質的牛奶來做菜，那麼無論食譜多麼完美，結果肯定是一場災難！在精算領域，我們稱此為「垃圾進，垃圾出」（Garbage In, Garbage Out，簡稱 GIGO）。

在本章中，我們將學習如何檢查、清理數據，並將其整理至適合分析的狀態。如果你起初覺得數據雜亂或令人不知所措，請不用擔心；我們會將這些工作拆解成簡單且合乎邏輯的步驟。

1. 數據檢查：謹慎先行（Look Before You Leap）

在你開始進行任何變動之前，必須先了解手頭上有什麼。數據檢查的目的是找出錯誤、不一致之處或奇怪的「離群值」（Outliers，即看起來不合理的數值）。

常見的視覺檢查與邏輯檢查

  • 合理性（Reasonableness）：數據是否合乎邏輯？例如，如果看到某位保單持有人的年齡是 \( 150 \) 歲，或者保費是負數，那這很可能出錯了！
  • 完整性（Completeness）：數據是否有「缺漏」？檢查是否有應該出現數字的地方卻留白或顯示為 "N/A"。
  • 一致性（Consistency）：如果你有兩張表格，它們的數據是否吻合？例如，「索賠」表中的索賠總額是否與「摘要」表顯示的總額一致？

小撇步：使用 Excel 的篩選（Filter）功能，可以快速檢視某一欄中的最小值和最大值。這是找出 \( 500 \) 歲高齡或是 \( 1900 \) 年之前日期最快的方法！

重點總結

在處理數據前後，請務必執行高層次檢查（例如對欄位進行加總或計算列數），以確保沒有遺失任何資訊。

2. 數據清理：清除雜質

當你發現錯誤後，就需要進行修正。不過，在 CP2 中有一個黃金準則：永遠不要刪除或更改原始數據來源！請務必在副本上進行操作。

清理步驟

1. 處理重複數據：有時同一筆數據被輸入了兩次。使用 Excel 的「移除重複項目」（Remove Duplicates）功能，但要小心——在按下刪除鍵之前，請確保這些列確實完全相同！
2. 修正格式：有時數字會被儲存為文字格式（意味著你無法進行加總），或者日期格式奇怪。請使用 VALUE() 或 DATEVALUE() 函數來標準化它們。
3. 處理離群值：如果某個數值明顯錯誤（比如那位 \( 150 \) 歲的人），你可能需要將其排除或用「上限值」取代。重要提示：記得在審計追蹤（Audit Trail）中記錄你這樣做的原因！

類比：清理數據就像挑選一袋蘋果。在開始做派之前，你要丟掉爛掉的、擦亮髒的，並確保它們都整齊地放在同一個籃子裡。

3. 數據重組：調整正確的佈局

有時候數據本身是「正確」的，但對於你的模型來說，其呈現形式可能不對。重組數據是為了調整排列方式，使你的公式運作得更有效率。

重組工具

  • 轉置（Transposing）：將列轉換為欄，反之亦然。（在 Excel 中使用：選擇性貼上 > 轉置）。
  • 映射與合併（Mapping and Merging）：使用 VLOOKUP、HLOOKUP 或 INDEX/MATCH 將來自兩張不同表格的數據連結在一起。例如，將銷售表中的「保單編號」與索賠表中的「保單編號」進行配對。
  • 排序與篩選：按時間順序或類別組織數據，使其更容易閱讀。

你知道嗎？使用 INDEX/MATCH 通常被認為比 VLOOKUP 更「實務」，因為它更靈活，而且如果你在資料表中新增欄位，它不會導致公式出錯！

重點總結

一個結構良好的表格通常應該是每一行代表一個觀測值（Observation），每一欄代表一個變數（Variable）。這會讓之後使用樞紐分析表（Pivot Tables）變得輕鬆許多！

4. 數據轉換：創造新資訊

轉換階段是指利用現有數據計算出模型所需的新資訊。這是最具「加值」意義的步驟。

轉換範例

  • 分組/區間化（Grouping/Binning）：與其觀察每個人的年齡，不如將其分為不同區間（例如 \( 20-29 \)、\( 30-39 \)）。
  • 衍生欄位（Derived Fields）：利用公式計算「賠付率」（Claim Ratio）：\( \text{Ratio} = \frac{\text{Total Claims}}{\text{Total Premiums}} \)。

常見錯誤：數據轉換時忘記更新公式。如果你將輸入數據除以 \( 1,000 \)，請務必確認你的輸出標籤有標明單位是「千元」！

5. 使用正確的工具（Excel 工具箱）

由於 CP2 是基於 Excel 的考試，你應該熟練使用以下工具進行數據準備：

1. 樞紐分析表（Pivot Tables）：非常適合總結大型數據集，並快速發現缺漏或錯誤。
2. 資料驗證（Data Validation）：使用此功能可預先防止錯誤數據輸入（例如限制儲存格只能輸入日期）。
3. If/Then 邏輯：運用 IF()、AND() 和 OR() 函數來標記符合特定條件的數據（例如：=IF(Age > 100, "CHECK ME", "OK")）。
4. 文字函數：LEFT()、RIGHT()、MID() 和 CONCATENATE() 用於拆分或合併文字字串。

快速回顧框

檢查（Check）：尋找錯誤/離群值。
清理（Clean）：修正格式並處理重複項。
重組（Restructure）：將數據調整為可用佈局（例如使用 VLOOKUP）。
轉換（Transform）：計算新欄位或進行數據分組。
記錄（Document）：為你的審計追蹤記錄每一個所做的變更！

總結與最終鼓勵

數據準備工作可能感覺很繁瑣，但實際上這往往是 CP2 考試得分的關鍵。如果你的數據乾淨且結構良好，後續的建模過程會順暢許多，你的公式也會變得更簡單。

如果覺得步驟很多，不用擔心！經過練習，你會開始能夠瞬間看出「壞數據」。只要記得保持嚴謹，妥善保存原始數據，並在文件中清楚解釋你的處理步驟。你一定沒問題的！