漸近分佈與自助法簡介

歡迎來到統計推論（Statistical Inference）中最強大的章節之一！到目前為止，你已經學會了如何使用最大似然估計（Maximum Likelihood Estimation, MLE）來尋找參數的「最佳猜測值」。但單一個數字（點估計）並不能反映全貌，我們還需要知道這個猜測值的可靠程度。

在本章中，我們將探索兩種了解估計量行為的方法：
1. 漸近理論（Asymptotic Theory）：當樣本量 \( n \) 變得非常大時，我們的 MLE 會發生什麼變化？（提示：它的行為會變得非常容易預測！）
2. 自助法（The Bootstrap）：當數學計算太複雜，或者數據量不足以使用標準公式時，我們該怎麼辦？我們利用現代計算能力，透過「自力更生」的方式進行運算。

如果這些術語聽起來有點嚇人，請不用擔心。我們會將它們拆解成簡單易懂的步驟，讓你能在 CS1 考試中輕鬆應用。

1. MLE 的漸近分佈

漸近（Asymptotic）一詞簡單來說，就是指當樣本量 \( n \) 趨向無限大（\( n \to \infty \)）時所發生的情況。在精算領域，我們經常處理大型數據集，因此這些「大樣本」特性非常實用。

主要結果

在特定的正則性條件（Regularity conditions）下，隨着樣本量 \( n \) 增大，MLE \( \hat{\theta} \) 的分佈會趨近於正態分佈（Normal Distribution）。具體來說：

\( \hat{\theta} \sim N(\theta, \frac{1}{I(\theta)}) \)

其中：
\( \theta \) 是參數的真實值。
\( I(\theta) \) 是費雪信息量（Fisher Information）。

什麼是費雪信息量？

你可以把費雪信息量想像成一種衡量數據中包含多少關於未知參數「信息」的指標。我們擁有的信息越多，估計量的方差（Variance）就越小。
樣本量為 \( n \) 的費雪信息量計算公式如下：
\( I(\theta) = n \cdot i(\theta) \)
其中 \( i(\theta) \) 是來自單一觀測值的信息量：
\( i(\theta) = -E[\frac{d^2}{d\theta^2} \ln f(X; \theta)] \)

漸近特性的重點總結

1. 漸近無偏性（Asymptotic Unbiasedness）：即使 MLE 在小樣本時可能存在偏差，但隨着 \( n \) 的增長，它會變得無偏。
2. 有效性（Efficiency）：MLE 的方差 \( \frac{1}{I(\theta)} \) 是克拉默-拉奧下界（Cramer-Rao Lower Bound）。這意味着對於大樣本，沒有其他無偏估計量能比 MLE 更精確。
3. 正態近似（Normal Approximation）：這讓我們能使用標準正態 \( Z \) 表來計算 MLE 的概率和置信區間（Confidence Intervals），即使原始數據並非正態分佈！

快速複習：隨着樣本量增加，MLE 會變得更準確（均值趨向真實值）且更精確（方差縮小）。

2. 自助法（The Bootstrap Method）

有時候，我們的樣本量不夠大，無法應用漸近理論；或者費雪信息量的公式太複雜，難以求解。這就是自助法（Bootstrap）派上用場的時候。

核心概念：重抽樣（Resampling）

自助法是一種重抽樣技術。想像你有一小袋雲石（即你的原始樣本）。你想知道「大工廠」（即母體/總體）中雲石的多樣性，但你手上只有這一袋。
為了進行「自助抽樣」，你從袋中拿出一顆雲石，記錄它的顏色，然後把它放回袋中。重複這個過程，直到你得到一個大小相同的新樣本。這稱為有放回抽樣（Sampling with replacement）。

自助法的步驟詳解

第 1 步：從大小為 \( n \) 的原始樣本開始。
第 2 步：從原始數據中有放回地抽取一個大小同樣為 \( n \) 的新樣本（稱為「自助樣本」）。
第 3 步：為這個自助樣本計算你的估計量（例如均值或 MLE）。我們稱之為 \( \hat{\theta}^* \)。
第 4 步：重複第 2 步和第 3 步多次（例如 1,000 或 10,000 次），以獲得大量的自助估計值：\( \hat{\theta}^*_1, \hat{\theta}^*_2, ..., \hat{\theta}^*_B \)。
第 5 步：利用這組數據來估算原始估計量的特性。

為什麼要「有放回」地重抽樣？

如果你進行的是無放回抽樣，每次得到的只會是順序不同的相同數據。透過有放回抽樣，有些數據點可能會出現兩次或更多，而有些則完全不出現。這模擬了如果我們能從真實母體中抽取許多不同樣本時，所會看到的自然變異。

你知道嗎？ 「Bootstrap」一詞源自短語「To pull oneself up by one's bootstraps」（揪着鞋帶把自己拉起來），意指在沒有外界幫助的情況下完成一件看似不可能的任务。在統計學中，它指的是利用數據本身來告訴我們其自身的不確定性！

3. 使用自助法估算特性

課程要求你掌握如何使用這些自助樣本來估算估計量的特性，特別是其偏差（Bias）和標準誤（Standard Error）。

自助法估算標準誤

只需計算所有自助估計值 \( \hat{\theta}^*_1, ..., \hat{\theta}^*_B \) 的標準差（Standard Deviation）。這能讓你了解估計量的精確度。

自助法估算偏差

偏差（Bias）是估計量的期望值與真實值之間的差異。用自助法的術語來說：
\( \text{估計偏差} = (\text{所有 } \hat{\theta}^* \text{ 的均值}) - \hat{\theta}_{original} \)
其中 \( \hat{\theta}_{original} \) 是從最初的真實數據計算得出的估計值。

4. 自助法置信區間

自助法最實際的用途之一是在不想假設數據符合特定分佈（如正態分佈或泊松分佈）的情況下，建立置信區間（CI）。

百分位數法（The Percentile Method）

建立自助法置信區間最簡單的方法是百分位數法。它非常直觀：
1. 將 1,000 個自助估計值從小到大排序。
2. 如果你想要 95% 的置信區間，找出切掉底部 2.5% 和頂部 2.5% 的數值。
3. 對於 1,000 個樣本，第 25 小的值和第 975 小的值即構成你的置信區間邊界。

應避免的常見錯誤：在進行 Paper B（使用 R 語言）考試時，學生有時會忘記在 `sample()` 函數中將樣本量 \( n \) 設置為與原始數據集相同。記住，務必重抽樣出相同數量的觀測值！

5. 比較：漸近理論 vs 自助法

你該如何決定使用哪一種方法？
在以下情況使用 MLE 漸近特性：
- 樣本量 \( n \) 很大。
- 你知道底層的分佈（例如題目告知數據呈指數分佈）。
- 你可以輕鬆計算對數似然函數的二階導數。

在以下情況使用自助法：
- 樣本量較小。
- 分佈未知或非常複雜。
- 你正在使用電腦（Paper B）進行模擬運算。

本章總結

重點 1：當 \( n \) 較大時，MLE \( \hat{\theta} \) 近似服從 \( N(\theta, \frac{1}{I(\theta)}) \)。這是大樣本推論的「黃金標準」。
重點 2：費雪信息量 \( I(\theta) \) 衡量對數似然函數的曲率；曲率越大意味着信息量越多，方差越小。
重點 3：自助法是一種計算工具，透過有放回重抽樣來估算任何統計量的分佈。
重點 4：我們可以直接從自助樣本中估算偏差、標準誤和置信區間（使用百分位數法），而不需要進行複雜的微積分運算。