歡迎來到數據偵探工作坊！

你好！準備 ATPA 考試感覺就像跑馬拉松，但今天我們要專注於一項關鍵技能：偵測偏差（Detecting Biases）。在預測分析的世界裡，模型的品質取決於你輸入的數據。把準備數據想像成準備一頓大餐——如果你一開始用的食材就不新鮮，再厲害的廚藝（或複雜的演算法）也無法讓料理變美味！

在本章中，我們將學習如何找出「變質」的數據，確保我們的模型既公平、準確又可靠。如果一開始覺得這些概念很抽象也不用擔心，我們會將其拆解成簡單易懂的步驟。

1. 數據準備中的偏差是什麼？

在日常生活中，「偏差」通常指個人偏見。但在預測分析中，偏差（Bias）是一種系統性誤差，導致對群體的呈現不公平或不正確。當我們處理數據（清理、合併或轉換）時，可能會無意中引入這些誤差。

為什麼會這樣？

通常偏差並非蓄意造成。它源於數據收集的方式、我們處理「混亂」數值的方法，甚至是數據本身所記錄的歷史已經包含了人類的偏見。

2. 選擇偏差（Selection Bias）：誰被遺漏了？

選擇偏差是指用來訓練模型的數據，無法準確代表模型未來將要應用的實際群體或事物。

經典例子：倖存者偏差（Survival Bias）
想像你是一位精算師，正在分析人壽保險保單。如果你只分析「有效」保單，而忽略了過去「已取消」或「失效」的保單，你的模型將會偏向「倖存者」。這樣一來，模型將無法理解為什麼客戶會離開，導致針對客戶留存率的預測大錯特錯！

常見的選擇偏差類型：
• 抽樣偏差（Sampling Bias）：群體中某些成員被納入的機率比其他人高。
• 流失偏差（Attrition Bias）：參與者隨著時間推移退出研究（這在長期保險數據中很常見）。
• 自我選擇偏差（Self-Selection Bias）：人們自行決定是否參與（例如自願參與的客戶問卷調查）。

快速檢視：為了避免選擇偏差，請務必問自己：「我所觀察的群體，在某個本質上是否與我想要預測的目標群體有所不同？」

3. 數據洩漏（Data Leakage）：偷看答案卷

數據洩漏可能是 ATPA 考試中最常見的錯誤。當來自「未來」的資訊（即目標變數）不小心混入你的訓練數據時，就會發生這種情況。

比喻：
想像你參加一場數學考試，考卷背面用淺鉛筆寫著答案。你可能拿到了 A+，但你實際上並沒有學會數學。如果模型發生「洩漏」，它在訓練階段看起來會異常精準，但在現實世界中卻會慘敗。

數據準備過程中如何發生洩漏：
1. 包含未來變數：例如，使用「已支付理賠總額」來預測「高風險駕駛」。但在年度結束前，你根本不會知道理賠總額！
2. 不當的縮放（Scaling）：在將數據拆分為「訓練集」和「測試集」之前，就計算整個數據集的「平均值」並用它來填補遺漏值。

重點總結：

務必在執行計算（如平均值、中位數或縮放）之前將數據拆分為訓練集和測試集。這能確保你的模型不會「偷看」到測試數據。

4. 處理遺漏值帶來的偏差

數據幾乎永遠不完美。通常會有缺失（遺漏值），而你填補這些缺失的方式可能會引入偏差。

常見錯誤：
• 刪除包含遺漏值的列：如果高收入人士較不願意回報薪資，而你刪除了這些列，你的模型會以為所有人其實都更窮。
• 平均值填補（Mean Imputation）：用平均值替換每個遺漏值。這會人為地降低數據的變異數（Variance，即散佈程度），使你的模型變得過度自信。

記憶輔助：M.A.R. 與 M.N.A.R.
• 隨機遺漏（Missing At Random, MAR）：數據的缺失與我們擁有的其他數據相關（例如：年輕人較不常填寫健康問卷）。這種情況通常可以修正。
• 非隨機遺漏（Missing Not At Random, MNAR）：數據的缺失與數值本身有關（例如：患有特定疾病的人隱瞞病情）。這非常難以修正，且通常會引入遺漏偏差（Omission Bias）。

5. 代理偏差（Proxy Bias）：隱藏的影響因子

即使你移除了「受保護」或「敏感」變數（如種族或性別）以確保公平，但如果包含了代理變數（Proxy Variable），模型依然可能帶有偏差。

什麼是代理變數？
代理變數是與敏感屬性高度相關的變數。
例子：在模型中使用「郵遞區號」，由於歷史住房格局的影響，它可能成為「社會經濟地位」或「種族」的代理變數。如果你的模型使用郵遞區號來拒絕承保，這可能在無意中造成歧視。

你知道嗎？
在精算實務中，偵測代理偏差對專業精神（Professionalism）和道德（Ethics）至關重要。監管機構常會密切檢視「中立」變數是否實際上成為了不公平歧視的代理工具。

6. 測量偏差（Measurement Bias）

當我們測量數據的方式不一致或有瑕疵時就會發生。
• 捨入誤差：如果一個辦公室將理賠金額捨入到最近的 1,000 元，而另一個辦公室捨入到最近的 1 元，我們的數據就會出現「凹凸不平」的現象。
• 測量代理：使用「醫生就診次數」作為「生病程度」的代理。這是帶有偏差的，因為它同時也衡量了「獲取醫療資源的機會」——一個非常病重的人，如果負擔不起醫療費用，可能一次醫生都沒看過。

7. 總結與快速檢查

如何偵測偏差（步驟說明）：
1. 探索性數據分析（EDA）：尋找異常規律。是否有數據空缺？分佈情況是否符合預期？
2. 檢查相關性：是否有任何變數與目標變數呈現可疑的相關性？（潛在洩漏）。
3. 子群體分析：測試模型在不同群體上的表現。它對男性的表現是否比女性好？對某個地區是否比另一個地區好？如果是，那就存在偏差。
4. 檢視來源：詢問數據是如何收集的。它是自願性問卷嗎？（潛在選擇偏差）。

考試重點總結：

• 選擇偏差 = 樣本不具代表性。
• 數據洩漏 = 偷看了未來／目標值。
• 代理偏差 = 隱藏的敏感變數。
• 填補（Imputation） = 小心填補缺失值，避免扭曲事實。

記住：「乾淨」的數據集並不等同於「正確」的數據集。時刻保持懷疑，並多留意數據中「沒有告訴你」的部分！