歡迎來到評估模型準確度！
在我們探索統計學習的旅程中，我們已經知道構建模型的方法有很多種。但這裡有一個最關鍵的問題：我們如何判斷哪個模型才是最好的呢？
這就像挑選跑鞋一樣。一雙鞋在店裡（訓練數據）看起來可能很棒，但當你真正去跑步（測試數據）時如果磨腳，那它就沒什麼用處了！在本章中，我們將學習如何為模型進行「壓力測試」，以確保它們在現實世界中表現良好。如果起初看起來有點深奧，別擔心——我們會循序漸進地為你拆解。
1. 衡量擬合度 (Quality of Fit)
為了評估模型的效果，我們需要一種方法來衡量實際值與預測值之間的差距。對於回歸問題（即我們預測數值時），最常用的工具是均方誤差 (Mean Squared Error, MSE)。
理解均方誤差 (MSE)
MSE 告訴我們預測結果平均偏移了多少。公式如下：
\( MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{f}(x_i))^2 \)
其中：
- \( y_i \) 是實際值。
- \( \hat{f}(x_i) \) 是我們模型得出的預測值。
- \( n \) 是觀測值的數量。
類比：射箭標靶
想像你正在向標靶射箭。靶心是實際值 (\( y_i \))。你的箭則是預測值 (\( \hat{f}(x_i) \))。MSE 衡量的是你的箭落點距離靶心的平均「平方距離」。MSE 越小，代表你是一位越精準的射手！
訓練 MSE 與測試 MSE
這是 Exam SRM 的一個關鍵區分點：
1. 訓練 MSE (Training MSE)： 使用我們構建模型時所用的數據進行計算。這就像在同一個靶子上練習了上百次。
2. 測試 MSE (Test MSE)： 使用模型從未見過的新數據進行計算。這是檢驗模型準確性的「真正」考驗。
重點提示：我們其實不太在乎訓練 MSE 有多低，我們在意的是測試 MSE。為什麼呢？因為模型可以通過死記硬背訓練數據來「作弊」（這稱為過擬合 Overfitting），但當它面對新事物時就會徹底失敗。
快速回顧：
- 高訓練 MSE + 高測試 MSE = 欠擬合 (Underfitting)（模型太簡單）。
- 低訓練 MSE + 高測試 MSE = 過擬合 (Overfitting)（模型太複雜，記住了雜訊）。
- 低訓練 MSE + 低測試 MSE = 「金髮女孩」區間 (The "Goldilocks" Zone)（模型剛剛好！）。
2. 偏差與變異數權衡 (The Bias-Variance Trade-off)
為什麼測試 MSE 會表現出這種特性呢？原來，預期的測試 MSE 可以拆解為三個基本部分。理解這種「權衡」是統計學習的「聖杯」。
誤差的三個組成部分
\( E(y_0 - \hat{f}(x_0))^2 = Var(\hat{f}(x_0)) + [Bias(\hat{f}(x_0))]^2 + Var(\epsilon) \)
1. 變異數 (Variance)：
變異數是指如果我們使用不同的訓練集，模型的預測會發生多大變化。
例子：一個試圖觸及每一個數據點、非常「扭曲」的模型具有高變異數。如果你只改變一個數據點，整個曲線的形狀都會隨之改變。
2. 偏差 (Bias)：
偏差是源於用一個過於簡單的模型來近似現實世界中（可能非常複雜的）問題所產生的誤差。
例子：如果真實關係是一條曲線，但你卻用直線去建模，這就是高偏差。你對簡單形狀有「偏見」，以至於無法擬合現實。
3. 不可約誤差 (Irreducible Error, \( Var(\epsilon) \))：
這是數據中我們無法預測的「雜訊」，無論模型多好都無法消除。想像一下箭在飛行中途被風吹偏了——這是你無法控制的。
尋找平衡點
當我們讓模型更靈活 (Flexible)（更複雜）時：
- 偏差減少（它能更好地擬合數據）。
- 變異數增加（它對特定的數據點變得更敏感）。
- 測試 MSE 會呈現U型。起初隨著偏差下降而下降，隨後當變異數佔主導時，它又開始爬升。
關鍵收穫：為了獲得最低的測試 MSE，你必須找到一個點，使得變異數的增加與偏差的減少達到完美的平衡。
3. 分類模型的準確度
到目前為止，我們討論的是數值（回歸）。但如果我們要預測的是類別（例如「違約」與「不違約」）呢？這就是分類 (Classification)。
訓練錯誤率 (Training Error Rate)
我們不再使用 MSE，而是使用錯誤率，即模型犯錯的比例：
\( \frac{1}{n} \sum I(y_i \neq \hat{y}_i) \)
簡單來說：（錯誤猜測的次數）/（總猜測次數）。
貝氏分類器 (The Bayes Classifier)
貝氏分類器是一個理論上「完美」的分類器。它根據特徵將每個觀測值分配到可能性最高的類別中。
- 由貝氏分類器產生的錯誤率稱為貝氏錯誤率 (Bayes Error Rate)。
- 你知道嗎？貝氏錯誤率就像分類問題中的「不可約誤差」。它是我們能做到的極致，但在現實生活中通常無法計算，因為我們並不知道數據的真實機率分佈。
K-最近鄰演算法 (K-Nearest Neighbors, KNN)
由於我們不知道「貝氏」真實值，我們使用像 KNN 這樣的方法來估計它。
- KNN 觀察離我們要預測的點最近的 \( K \) 個觀測值，然後進行「投票」。
- 如果 \( K = 1 \)，模型高度靈活（低偏差，高變異數）。這通常會導致過擬合。
- 如果 \( K = 100 \)，模型靈活性較低（高偏差，低變異數）。這通常會導致欠擬合。
KNN 的記憶口訣：
\( K \) 小 = Komplicated（複雜，高變異數）。
\( K \) 大 = Konservative（保守，低變異數）。
關鍵概念總結
要避免的常見錯誤：不要認為訓練 MSE 為零的模型就是完美的。訓練 MSE 為零通常意味著你已經過度擬合了，以至於該模型在任何新數據上都無法運作！
快速總結：
- MSE：回歸準確度的主要衡量指標。
- 過擬合：訓練誤差低但測試誤差高。
- 偏差-變異數權衡：模型在過於簡單（偏差）或過於敏感（變異數）之間的博弈。
- 貝氏分類器：分類問題的理論理想值。
- KNN：一種靈活的方法，其中 \( K \) 的選擇決定了偏差與變異數的平衡。
做得好！你已經掌握了評估模型準確度的基礎知識。請記住，統計學習的目標不是完美地解釋過去，而是精準地預測未來！