歡迎來到數據世界！

各位未來的精算師，歡迎！我們正要深入探討 CP1 課程中一個至關重要的環節：數據處理 (Working with Data)。這一章屬於課程中「明確問題」(Specifying the Problem) 的部分。在構建精美的模型或計算保費之前，你必須先了解你所使用的原材料：數據。

將數據想像成製作佳餚的食材。無論廚師（精算師）技術多麼精湛，或者焗爐（模型）多麼昂貴，如果食材本身已經變壞，煮出來的菜餚一定難以下嚥。在精算界，我們稱之為「垃圾進，垃圾出」(Garbage In, Garbage Out, GIGO)。讓我們一起學習如何確保我們的「食材」是頂級的吧！

如果起初覺得這些內容有些枯燥或技術性，請不必擔心——我們會將其拆解成簡單、易於掌握的步驟。

1. 為何數據質量至關重要

在精算工作中，我們利用歷史數據來預測未來。如果歷史數據有誤，我們的預測也會出錯。這可能會導致財務損失、聲譽受損，甚至是監管罰款。

你知道嗎？數據集中一個簡單的小數點錯誤，可能會瞬間將預計負債從 \( \$1 \) 百萬變成 \( \$10 \) 百萬！

常見的數據質量問題

當你收到一個數據集時，應留意以下常見的「警號」：

- 不完整 (Incompleteness)： 缺少欄位，例如保單持有人的年齡或索償發生的日期。
- 不準確 (Inaccuracy)： 明顯錯誤的數值，例如將人類的年齡列為 250 歲。
- 不一致 (Inconsistency)： 數據前後矛盾。例如，一張「人壽保險」保單被分配給一位三年前已標記為「已故」的人士。
- 數據過時 (Out-of-date data)： 使用 1990 年代的死亡率來為 2024 年的保單定價。
- 數據不具代表性 (Non-representative data)： 使用高風險群體的數據來為低風險群體的產品定價。

快速回顧：數據必須具備合適性 (Appropriate)、準確性 (Accurate) 和完整性 (Complete)。若未能符合這三者中的任何一項，你的結果將面臨風險。

2. 處理數據的風險

這不僅僅是關於數據本身「好壞」的問題；我們處理數據的方式也存在風險。以下是你需要識別的主要風險：

A. 收集錯誤
數據通常由人手輸入。我們會犯錯！拼寫錯誤、對表格的誤解，或是意外刪除數據的情況，比你想像中更頻繁。

B. 解讀錯誤
如果欄位標示為「保費」(Premium)，是指毛保費 (Gross Premium) 還是淨保費 (Net Premium)？如果你假設錯誤，整個模型的偏差就會隨之產生。

C. 系統遷移
當公司將數據從舊電腦系統遷移到新系統時，往往會出現問題。數據格式可能會改變，或者某些欄位可能會遺失。

D. 選擇性偏差 (Selection Bias)
這是一個隱蔽的陷阱。如果你的數據僅包含願意回答問卷的人，它就無法代表那些忽略問卷的人。你的結果將會偏向於那些「回應者」。

重點總結：風險不僅僅在於數字是錯的，更在於我們對這些數字的理解是錯的。

3. 管理數據風險：驗證過程

那麼，我們該如何保護自己呢？答案是驗證 (Validate)。這是一個分步驟的過程，以確保數據「合乎用途」。

步驟 1：檢查基本資料

從簡單的測試開始。記錄的數量是否與你預期的一致？如果有人告訴你共有 10,000 名保單持有人，但你的檔案只有 8,000 份，這就是問題所在！

步驟 2：範圍與合理性檢查

檢查數值是否合理。 - 年齡： 應介乎 0 至 120 歲之間。
- 日期： 「死亡日期」不能早於「出生日期」。
- 保費： 不應該是負數。

步驟 3：一致性檢查

比較數據的不同部分。如果保單狀態是「生效」(Active)，那麼它理應記錄了本年度的保費繳付情況。

步驟 4：對帳 (Reconciliation)

嘗試將你的數據與另一個來源進行「匹配」。例如，數據中的保費總額是否與會計部門所記錄的實際收款總額一致？

比喻：驗證數據就像在登機前檢查行李。你清點行李數量（基本資料）、確保沒有超重（範圍）、檢查標籤上的目的地是否正確（一致性），並確保總重量與航空公司的收據相符（對帳）。

4. 處理缺失或有缺陷的數據

如果數據確實有缺陷，但你仍必須完成工作，該怎麼辦？你有以下幾個選項：

1. 清洗數據：如果你擁有原始來源文件，可以手動修正錯誤。
2. 使用替代數據 (Proxies)：如果你沒有「A 組」的數據，且「B 組」情況相似，可以考慮使用「B 組」數據。例子：如果某個加勒比海小島自身的數據量太小而不具可靠性，可以使用英國的死亡率數據作為替代。
3. 調整模型：如果你知道數據比實際應有的低 5%，你可以在最終結果中加入 5% 的「緩衝」(Buffer) 或邊際 (Margin)。
4. 記錄一切：這是最重要的一步！如果你使用了質量欠佳的數據，必須告知閱讀報告的人。他們需要了解你工作的局限性 (Limitations)。

避免常見錯誤：千萬不要不經思考就隨意「刪除」缺失的數據行。如果你刪除所有未提供年齡的保單持有人，你可能會意外地刪除了所有因填寫表格困難而放棄填寫的長者！這會引入偏差 (Bias)。

5. 成本與效益的權衡

我們都想要完美的數據，但追求完美既昂貴又緩慢。在現實世界中，精算師必須在以下三者之間取得平衡：

- 質量：我們需要多高的準確度？
- 時間：上司或監管機構何時需要答案？
- 成本：僱用 10 個人來修復這些試算表需要花多少錢？

如果決策影響較小，數據「足夠好」可能就沒問題。但如果決策涉及公司的存亡，你就需要最高質量的數據。

快速回顧欄

- GIGO： 垃圾進，垃圾出。
- 質量的三大支柱： 準確性、完整性、合適性。
- 驗證： 基本檢查、範圍、一致性及對帳。
- 管理： 清洗、使用替代數據或加入邊際。
- 文件記錄： 務必說明數據中的缺陷！

最後的鼓勵

數據管理聽起來可能像是乏味的「清潔工作」，但它是一切精算實務的基石。現在就熟練掌握這些檢查技巧，將來在職業生涯中就能避免許多頭痛問題。加油，你一定做得到！