歡迎來到調整(Graduation)的世界!
在精算工作中,我們經常處理各種「雜亂無章」的數據。當我們查看原始死亡率時,由於樣本量小或意外事件的影響,這些數據往往會隨機地上下波動。但在現實世界中,我們預期死亡率會隨著年齡增長呈現相對平滑的趨勢。
調整(Graduation) 簡單來說,就是將這些「凹凸不平」的原始利率進行平滑處理,從而得出一個既實用又符合現實的模型。你可以把它想像成使用修圖應用程式,把顆粒感照片中的數位雜訊消除,從而還原出背後清晰的影像。
在本章中,我們將學習為什麼要對數據進行調整、我們使用的方法,以及最重要的一點——我們如何利用統計檢定來確認調整後的模型是否理想!
1. 為什麼要進行調整?
試想一下,你正在觀察 50 歲和 51 歲人群的死亡率。如果數據顯示 50 歲人群的死亡風險是 51 歲人群的兩倍,而這僅僅是因為你小樣本數據中出現了幾宗隨機意外,你絕對不會想使用這些「粗略」的死亡率來釐定保險費率。這根本不合理!
我們對數據進行調整主要有三個原因:
1. 消除隨機波動: 原始數據充滿了「雜訊」。我們希望從中看出背後的真實趨勢。
2. 確保規律性: 我們預期利率會符合邏輯地變動(例如:死亡率通常隨年齡增長而增加)。
3. 實用性: 使用平滑的數學公式或可靠的數據表,比使用那些破碎、原始的數據點來計算保費和準備金要容易得多。
平衡的藝術:擬合度(Fit)與平滑度(Smoothness)
在調整數據時,你需要在兩個目標之間進行拉鋸:
• 對數據的擬合(Goodness of Fit): 你的平滑曲線與實際觀測點之間的貼合程度。
• 平滑度(Smoothness): 曲線變動的「平坦」或「流暢」程度。
比喻: 如果你用鋸齒狀的線連接圖表上的每一個點,你達到了 100% 的擬合度,但平滑度卻是 0%。如果你畫一條完美的水平直線,你達到了 100% 的平滑度,但對數據的擬合可能非常差。我們追求的是兩者之間的「金髮女孩原則」(恰到好處的平衡點)!
2. 調整的方法
課程建議了三種主要的數據平滑方法。如果這些方法看起來很技術性,別擔心;重點是理解每一種方法的邏輯。
A. 圖解法(Graphic Method)
這是一種「老派」的做法。你直接在圖表上繪製原始利率,然後手動(或使用軟體)畫出一條平滑線穿過它們。
• 優點: 直觀;你可以運用專業判斷。
• 缺點: 具主觀性。兩位精算師可能會畫出完全不同的線條!
B. 數學公式調整法(Parametric)
我們假設死亡率遵循特定的公式,例如 Gompertz-Makeham 定律:
\( \mu_x = A + Bc^x \)
• 優點: 非常平滑;容易編寫成電腦程式。
• 缺點: 如果該人群實際上並不遵循該特定公式,那麼「擬合度」將會非常糟糕。
C. 參照標準表法(Reference to a Standard Table)
我們選取一個現有且著名的數據表(如國家死亡率表),並對其進行「微調」以適應我們的特定數據。我們通常使用線性轉換:
\( \dot{q}_x = a + b \cdot q_x^s \)
(其中 \( q_x^s \) 是標準表利率,而 \( \dot{q}_x \) 是我們調整後的利率)。
• 優點: 當你的數據集較小時非常有效;你可以「借用」一個更大型、更可靠的人群數據形狀。
• 缺點: 你受限於所選標準表的形態。
重點總結: 調整是一種平衡平滑度與擬合度的藝術。我們可以用手動(圖解)、用公式(參數化)或使用「大哥級」數據表(參照)來達成。
3. 統計檢定:我們做得對嗎?
當我們得出調整後的利率後,我們需要證明它們是可靠的。我們使用多種檢定來檢查我們調整後的利率 (\( \dot{E}_x \)) 是否在不具偏差的情況下與觀測數據 (\( d_x \)) 吻合。
在所有這些檢定中,我們都會關注殘差(Residuals)(即觀測值與模型預測值之間的差異)。
卡方(\(\chi^2\))檢定(整體擬合檢定)
此檢定觀察所有年齡段的總體差異。我們希望整體的「誤差」越小越好。
公式為:\( \sum \frac{(d_x - E_x \dot{q}_x)^2}{E_x \dot{q}_x(1 - \dot{q}_x)} \)
• 虛無假設 (\( H_0 \)): 調整後的利率即為「真實」利率。
• 決策: 如果我們的計算值小於表格中的臨界值,我們就「無法拒絕」該調整方案。這代表是一個好的擬合!
標準化偏差檢定(離群值檢定)
我們檢查每個年齡段的個別偏差(誤差)是否遵循標準常態分佈 \( N(0, 1) \)。
• 觀察重點: 我們預期約 95% 的偏差值會落在 -1.96 到 +1.96 之間。如果我們看到像 +4.0 這樣的值,說明我們的調整在該特定年齡段失效了。
符號檢定(偏差檢定)
這是一個簡單但強大的檢定。我們計算調整後利率高於數據(+)的次數,以及低於數據(-)的次數。
• 邏輯: 如果我們的模型沒有偏差,它應該像擲硬幣一樣。我們預期正號和負號的數量大致相等。
• 常見錯誤: 學生經常將此與「符號分組檢定」(Grouping of Signs test)搞混。請記住:符號檢定關注的是正號與負號的總數量。
符號分組檢定(「聚集」檢定)
此檢定檢查相同符號是否「連續出現」。例如,如果你的模型連續 10 個年齡段都低於數據,這意味著你的曲線在特定區間內「過低地切入」了數據。
• 比喻: 如果你擲硬幣 20 次,得到 10 個正面和 10 個反面,這是正常的(符號檢定)。但如果你連續得到 10 個正面,然後又連續得到 10 個反面,那就有點奇怪了(符號分組檢定)!
序列相關檢定(模式檢定)
此檢定尋找年齡 \( x \) 與 \( x+1 \) 的偏差之間的相關性。
• 目標: 我們希望誤差是隨機的。如果今天的正誤差通常意味著明天也是正誤差,說明我們的模型遺漏了某種趨勢。
冷知識: Stevens-Dodd 方法經常用於計算符號分組檢定中序列分佈的概率。它是使該檢定更加精確的專業精算工具之一!
4. 檢定總覽
1. 卡方檢定: 檢查誤差的總體大小。
2. 符號檢定: 檢查是否存在過多的正值或負值(整體偏差)。
3. 符號分組檢定: 檢查正值或負值是否「堆積」在一起(局部偏差)。
4. 標準化偏差檢定: 檢查單一年齡段是否有極大的誤差。
5. 序列相關檢定: 檢查誤差序列中是否存在模式。
5. 常見避坑指南
• 自由度(Degrees of Freedom): 在卡方檢定中,記得要減去你估計的參數數量。如果你使用的公式有 3 個常數 (\( A, B, c \)),你必須從自由度中減去 3!
• 小樣本: 如果死亡人數非常少(少於 5 人),卡方檢定可能無效。你可能需要將年齡組進行合併。
• 過度平滑(Over-smoothing): 如果你通過了所有平滑度檢定,但卡方值卻非常大,這說明你把數據中真實的特徵也「平滑」掉了!
關鍵要點: 當調整後的利率既平滑、能代表數據的內在趨勢,又能通過各項關於偏差和擬合度的統計檢定時,調整才算成功。不要只依賴單一檢定;優秀的精算師會綜合考慮所有檢定結果,以得出完整的分析結論。
繼續練習卡方計算吧!這是 CS2 考試的核心重點。你一定可以做到的!