歡迎來到模型選擇工具箱！
嘿！未來的精算師，歡迎來到 SRM 學習旅程中最重要的章節之一。在線性模型 (Linear Models) 的世界裡，我們經常面對一堆「自助餐」般的潛在預測變數（自變數）可供選擇。但就像吃自助餐一樣，如果你把所有食物都塞進盤子裡，最後只會亂成一團！
在本章中，我們將學習如何為模型挑選「最合適」的變數。我們追求的是一個「剛剛好」的模型——既具備足夠的複雜度來捕捉數據中的規律，又要保持簡潔，以確保在面對新的、未曾見過的數據時依然表現出色。我們將深入探討 t 檢定 (t-tests)、F 檢定 (F-tests)、AIC、BIC 以及 概似比檢定 (Likelihood Ratio Test)。讓我們開始吧！
1. 個體焦點：t 檢定 (t-test)
你可以把 t 檢定 想像成一場個人試鏡。我們用它來判斷某個「特定的」預測變數是否應該留在模型中，前提是假設其他變數已經都在模型裡了。
它在檢定什麼？
我們檢定的是虛無假設 (Null Hypothesis, \( H_0 \))：該變數的係數為零 (\( \beta_j = 0 \))。這意味著該變數對我們的預測沒有任何影響。
而對立假設 (Alternative Hypothesis, \( H_a \))：該係數不為零 (\( \beta_j \neq 0 \))。
它是如何運作的？
我們使用以下公式計算 t 統計量：
\( t = \frac{\hat{\beta}_j}{SE(\hat{\beta}_j)} \)
其中 \( \hat{\beta}_j \) 是估計出的係數，而 \( SE(\hat{\beta}_j) \) 是它的標準誤（Standard Error，用來衡量該估計值可能產生的波動範圍）。
快速回顧：
- 如果 p 值 (p-value) 非常小（通常小於 0.05），我們就拒絕 (reject) 虛無假設。這意味著該變數具有「統計顯著性」，很可能值得留在模型中！
- 如果 p 值很大，那麼該變數可能只是「雜訊」。
重點總結：t 檢定是逐一檢視變數的工具。
2. 團體試鏡：F 檢定 (F-test)
有時變數成組使用效果更好。F 檢定 用於同時檢定多個變數。當你遇到具有多個類別的類別變數 (categorical variable)（例如「州名」或「顏色」）時，這特別有用。
「整體 (Overall)」F 檢定：
在檢視個別變數之前，我們通常會問：「這些變數中有任何一個是有用的嗎？」整體 F 檢定會檢查模型中是否至少有一個預測變數的係數不為零。
\( H_0: \beta_1 = \beta_2 = ... = \beta_p = 0 \)
\( H_a: \) 至少有一個 \( \beta_j \) 不為零。
「部分 (Partial)」F 檢定（巢狀模型）：
我們使用它來比較一個大型模型 (Big Model/Full) 與一個小型模型 (Small Model/Reduced)。小型模型是「巢狀」在大型模型之中的，因為它僅使用了大型模型變數的一個子集。
公式如下：
\( F = \frac{(RSS_{reduced} - RSS_{full}) / (p - q)}{RSS_{full} / (n - p - 1)} \)
別被這個公式嚇到了！只要記住它測量的是當我們加入這些額外變數時，殘差平方和 (RSS) 下降了多少。如果下降幅度夠大，那麼這些額外變數增加的複雜度就是值得的。
類比：想像一個籃球隊。t 檢定 是在檢查某個特定球員表現如何；而 F 檢定 則是在檢查整組替補球員是否真的能幫助球隊贏球。
重點總結：使用 F 檢定來比較複雜模型與其簡化版本之間的差異。
3. 比較概似值：概似比檢定 (LRT)
當我們進入更通用的模型時，我們不再談論「平方和」，而是開始討論概似值 (Likelihood)。概似值 (\( L \)) 告訴我們在給定一組模型參數的情況下，觀察到現有數據的可能性有多大。
概似比檢定 比較兩個巢狀模型的概似值：
1. 虛無模型 (Null Model)（簡單）
2. 對立模型 (Alternative Model)（複雜）
檢定統計量為：
\( G = 2 \times (\ln(L_{complex}) - \ln(L_{simple})) \)
這個 \( G \) 值服從卡方分配 (\( \chi^2 \))。如果 \( G \) 很大，說明複雜模型顯著優於簡單模型。
常見錯誤：學生常忘記 LRT（就像 F 檢定一樣）只適用於巢狀 (nested) 模型。如果兩個模型之間沒有層級關係，你就不能用它來比較使用「年齡」的模型與完全不同的使用「收入」的模型！
重點總結：LRT 利用「概似值」來判斷增加變數是否顯著提升了模型的適配度。
4. 資訊準則：AIC 與 BIC
如果你想比較那些「不是巢狀」的模型，或者你想防止過度配適 (overfitting)，該怎麼辦？這就是 AIC 和 BIC 發揮作用的地方。它們就像一位「裁判」，會給適配度良好的模型加分，但同時也會因為模型過於複雜而給予懲罰 (penalty)。
AIC (赤池資訊準則)：
\( AIC = -2\ln(L) + 2k \)
（其中 \( k \) 是參數/變數的數量）。
AIC 追求的是既能良好適配，又不會包含過多變數的模型。
BIC (貝氏資訊準則)：
\( BIC = -2\ln(L) + k \ln(n) \)
（其中 \( n \) 是觀測值的數量）。
隨著數據集規模增長，BIC 對額外變數有著更重的懲罰（因為 \( \ln(n) \) 通常大於 2）。
黃金法則：對於 AIC 和 BIC 而言，數值越小越好！較低的分數意味著在適配度與簡潔度之間達到了更好的平衡。
你知道嗎？
由於 BIC 的懲罰較重，它通常比 AIC 選出更小（更簡單）的模型。如果你擔心模型中包含了太多不必要的變數，BIC 將是你最好的朋友！
重點總結：AIC 和 BIC 幫助我們選擇最有效的模型。數值越小，模型越好。
5. 總結與比較表
最後，我們用一個快速指南來幫你在考試中決定該使用哪種工具：
1. 若要檢定單一變數：使用 t 檢定。
2. 若要檢定一組變數（巢狀）：使用 F 檢定 或 LRT。
3. 若要比較非巢狀模型：使用 AIC 或 BIC。
4. 如果你想要一個更簡單的模型：查看 BIC。
5. 如果你想要最大化預測能力：查看 AIC。
快速記憶法：
- BIC = Bigger penalty（懲罰更重）。
- F-test = Full vs. Reduced models（完整對比簡化模型）。
- t-test = tiny（微小的，僅針對一個變數）。
如果一開始覺得很混亂也不要緊！練習觀察模型輸出結果的次數越多，這些檢定就會變得像直覺一樣自然。你一定可以的！