Select and carry out appropriate statistical tests of reasonableness

歡迎來到「合理性檢查 (Sanity Check)」階段！

你好！你已經來到 CP2 旅程中至關重要的一環。本章我們將聚焦於選擇並執行適當的統計合理性測試 (Select and carry out appropriate statistical tests of reasonableness)，這是「數據準備與分析 (Preparation and analysis of data)」的一部分。把這看作是擔任一名數據偵探吧！在建立複雜模型或將結果交給客戶之前，你需要問自己：「這真的合理嗎？」

如果統計學讓你感到有些壓力，別擔心。我們在這裡不需要進行艱深的理論證明，而是學習如何使用簡單的工具，確保數據沒有「欺騙」我們。讓我們開始吧！

1. 什麼是「合理性測試」？

在精算領域，我們經常需要處理龐大的試算表。「合理性測試」就是一種檢查，用以確保我們所使用的數據（輸入）以及產出的結果（輸出）是合理且可信的。

類比：想像你在檢查銀行月結單。如果你看到一筆 10 元的咖啡消費，那是合理的。但如果你看到一筆 10,000 元的咖啡消費，你的「合理性警報」就應該響起！這正是我們在模型數據中要做的事情。

為什麼這很重要？
如果你將「垃圾」數據輸入完美的模型，你只會得到「垃圾」結果。這通常被稱為 GIGO (Garbage In, Garbage Out，垃圾進，垃圾出)。透過執行這些測試，你可以確保工作的完整性與專業度。

2. 選擇正確的統計測試

並非每一種測試都適用於所有情況。你需要根據數據的類型來選擇工具。以下是你在 CP2 中最常使用的統計指標：

A. 位置指標（找「中間值」）

平均值 (Mean)：所有數值的總和除以數值個數。 \( \bar{x} = \frac{\sum x_i}{n} \)。
中位數 (Median)：數據排序後處於中間位置的數值。它的優點是不容易受到極端高值或低值的影響。
眾數 (Mode)：出現頻率最高的數值。對於類別數據（例如「保單類型」）非常有用。

B. 離散程度指標（找「範圍」）

最小值與最大值 (Minimum and Maximum)：務必檢查最小值和最大值。如果你在查看「退休人員年齡」，發現最大值是 150，那你就發現數據錯誤了！
標準差 (Standard Deviation)：這顯示了數據的散佈程度。非常高的標準差可能意味著數據波動很大，或者包含錯誤。
全距 (Range)：最大值與最小值的差。

C. 計數與總和

簡單地計算記錄數量或對欄位進行加總（例如「保額總計」）是一種強大的檢查方式。如果你去年有 1,000 張保單，今年只有 50 張，那麼很可能有些數據遺失了。

快速複習盒：
- 使用平均值來獲取一般平均水平。
- 如果數據包含異常值（極高或極低值），請使用中位數。
- 使用最小值/最大值來找出不可能出現的數值（如負數年齡）。
- 使用計數來確保數據在傳輸過程中沒有遺失。

3. 逐步執行：如何進行測試

當你在 CP2 考試中時，應遵循系統化的方法來檢查數據：

第 1 步：高層次摘要
製作數據摘要表。計算所有關鍵數值欄位的計數、平均值、最小值和最大值。

第 2 步：與外部或先前的數據進行比較
如果你有去年的數據，拿來比較一下！如果去年的平均賠付金額是 500 元，今年變成 5,000 元，你必須調查原因。

第 3 步：內部邏輯一致性檢查
檢查數據本身是否合理。
範例：「死亡日期」是否晚於「出生日期」？「退休年齡」是否大於「目前年齡」？

第 4 步：抽樣檢查 (Spot Checks)
隨機挑選 2 到 3 個個別資料列，手動「跑一遍」你的計算過程。這是捕捉公式邏輯錯誤的好方法。

你知道嗎？
在專業領域，精算師經常使用「調節表 (Reconciliation)」。這意味著將你處理後的數據總額與客戶提供的原始數據核對，確保即使是一分錢都沒有遺失。

4. 處理異常值 (Outliers)

異常值是指與其他數據點顯著不同的數據。例如，如果大多數賠付額為 100 元，但其中一筆卻是 1,000,000 元。

如何處理：
1. 調查：是筆誤嗎？（例如：有人多按了幾個 '0'）。
2. 驗證：如果這是一個真實但極端的數值，它應該保留在數據中，但你應該在報告中提及它。
3. 修正/排除：如果它顯然是錯誤且無法修復，你可能需要將其排除（並記錄你已這麼做！）。

記憶法：S.C.A.N. 方法
Summarize（摘要：取得平均值/最小值/最大值）
Compare（比較：與去年或基準數據對比）
Analyze（分析：尋找異常值）
Notes（註記：記錄你發現了什麼，以及為什麼這些數據是合理的）

5. 常見的陷阱與避雷指南

1. 忽略背景：一個數值在數學上可能是可能的，但在精算上卻是不可能的。105 歲的人是存在的，但一個 105 歲的人持有一份 20 年期的定期人壽保險則是非常不可能的！
2. 忘記檢查類別數據：不要只檢查數字。檢查類別（如「性別」或「地區」）是否有合理的代碼。如果代碼應該是「M」和「F」，但你卻看到了「X」，那就是數據問題。
3. 沒有記錄：在 CP2 中，你必須要「展示」你的檢查過程才能得分。如果你檢查了數據且確認沒問題，請寫下：「我檢查了最高年齡，結果為 85 歲，這是合理的。」

總結與關鍵要點

關鍵要點 1：合理性測試是你對抗模型錯誤的第一道防線。在開始主要分析前，務必執行這些檢查。

關鍵要點 2：結合使用位置指標（平均值/中位數）和離散指標（最小值/最大值/標準差），以獲得數據的全貌。

關鍵要點 3：務必將你的數據與其他來源進行比較——無論是去年的數據、不同的來源，還是僅憑常識判斷。

關鍵要點 4：記錄就是王道。如果你發現並修復了錯誤，或者發現了一個奇怪的數值並確認它是正確的，請務必寫下來！

如果起初覺得這像是額外的工作，別擔心。隨著練習，這些檢查將成為你的本能，並且能拯救你免於在模型中犯下大錯！