歡迎來到貝氏估計(Bayesian Estimation)的世界!
你好!如果你已經準備到 ASTAM 考試的階段,代表你已經克服了不少艱深的數學難題。今天,我們要深入探討貝氏估計。如果剛開始覺得這聽起來有點「哲學」,別擔心——這其實是一種非常直觀的觀察世界方式。
在古典統計學(例如 MLE)中,我們將參數 \(\theta\) 視為一個固定(但未知)的數值。但在貝氏估計中,我們將 \(\theta\) 視為一個隨機變數。你可以這樣想:與其努力找出參數的「唯一真實值」,我們不如用機率分佈來描述我們對該數值的不確定性。這就像是你隨著看到越來越多證據,而不斷修正自己觀點的過程!
你知道嗎?貝氏統計是以 18 世紀的牧師湯瑪斯·貝氏(Thomas Bayes)命名的。他生前其實從未發表過他那著名的定理;在他去世後,他的朋友理查·普萊斯(Richard Price)才替他發表了這項研究!
1. 三大支柱:先驗分佈、模型與後驗分佈
要進行貝氏估計,你需要三個主要組件。把它們想像成烹飪食譜所需的材料。
A. 先驗分佈 (Prior Distribution): \(\pi(\theta)\)
這代表你在看到任何數據之前,對 \(\theta\) 的看法。 例子:如果你要估計索賠發生的機率,你可能會查看去年的行業平均數據,以形成最初的觀點。
B. 模型 (Likelihood): \(f(x|\theta)\)
這是給定某個 \(\theta\) 值時,數據的分佈情況。如果我們有一組數據 \(x_1, x_2, ..., x_n\),聯合概似函數就是 \(L(\theta) = \prod f(x_i|\theta)\)。這代表了數據所提供的「證據」。
C. 後驗分佈 (Posterior Distribution): \(\pi(\theta|x)\)
這是「更新後」的信念,也就是你在看到數據之後對 \(\theta\) 的看法。這正是我們計算的目標!
貝氏黃金法則:
後驗分佈正比於概似函數乘以先驗分佈: $$\pi(\theta|x) \propto L(\theta) \times \pi(\theta)$$ 符號 \(\propto\) 的意思是「正比於」。在大多數 ASTAM 題目中,我們不需要計算複雜的分母,只需要找出分佈的「形狀」即可。
快速總結:先驗(舊信念)+ 數據(新證據)= 後驗(更新後的信念)。
2. 計算後驗分佈:分步指南
當你在考試中遇到貝氏題目時,別慌張。請按照以下步驟進行:
第一步:寫下先驗分佈。 找出 \(\pi(\theta)\)。忽略任何不包含 \(\theta\) 的常數。
第二步:寫下概似函數。 找出 \(L(\theta) = f(x_1, ..., x_n | \theta)\)。同樣地,只保留包含 \(\theta\) 的部分。
第三步:將兩者相乘。 將項合併。通常你需要將指數相加或合併冪次。
第四步:辨識分佈。 看看你的結果,它看起來像 Gamma 分佈嗎?還是 Beta 或常態分佈?這個「配對」步驟就是你找到答案的關鍵。
避免犯錯:千萬別忘記概似函數是基於整個樣本的。如果你有 \(n\) 個觀測值,請務必將概似項進行 \(n\) 次方運算,或者在適當的情況下使用觀測值的總和!
3. 貝氏估計量 (The Bayesian Estimator)
得到後驗分佈後,我們通常需要一個單一數值作為估計結果,這稱為貝氏估計量。
ASTAM 課程通常集中於平方誤差損失函數 (Squared Error Loss)。在這種損失函數下,\(\theta\) 的「最佳」估計量就是後驗分佈的平均值 (Mean of the Posterior Distribution): $$\hat{\theta} = E[\theta | x]$$
類比:想像你在猜一罐果凍豆的重量。有些人猜 500,有些人猜 600。貝氏估計就像是將所有意見取平均值,但會給予專家(數據)的意見更高的權重。
快速複習: - 如果後驗分佈是 \(Gamma(\alpha, \theta)\),估計量為 \(\alpha \theta\)。 - 如果後驗分佈是 \(Beta(a, b)\),估計量為 \(\frac{a}{a+b}\)。 - 隨身攜帶你的考試公式表,以便快速查找這些分佈的平均值!
4. 預測分佈 (Predictive Distributions):展望未來
有時考試不會要求求出 \(\theta\)。相反,它會問:「基於我們看到的數據,下一次索賠 (\(x_{n+1}\)) 為特定值的機率是多少?」
這就是預測分佈。我們透過將概似函數與後驗分佈進行「加權平均」來計算: $$f(x_{n+1} | x) = \int f(x_{n+1} | \theta) \pi(\theta | x) d\theta$$
換個方式思考:因為我們不知道 \(\theta\) 確切是多少,所以我們觀察每一個可能的 \(\theta\),查看它的可能性(後驗分佈),並用它來預測未來,最後將所有情況加總(積分)起來。
記憶小撇步:「後驗看參數,預測看未來(下一個數據點)。」
5. 共軛先驗 (Conjugate Priors):考試的「作弊碼」
在許多情況下,後驗分佈最終會與先驗分佈屬於同一個族群。這類成對的分佈稱為共軛先驗。掌握這些可以為你節省大量時間!
必背組合: 1. Poisson (數據) + Gamma (先驗) \(\to\) Gamma (後驗) 2. Binomial (數據) + Beta (先驗) \(\to\) Beta (後驗) 3. Exponential (數據) + Inverse Gamma (先驗) \(\to\) Inverse Gamma (後驗) 4. Normal (數據) + Normal (先驗) \(\to\) Normal (後驗)
例子:如果你從 Gamma 先驗開始,而數據是 Poisson 分佈,你馬上就知道後驗分佈會是 Gamma。你只需要根據學習手冊中的加法規則,更新 \(\alpha\) 和 \(\theta\) 參數即可。
考試當日的關鍵提示
1. 貝氏 = 更新。 永遠從先驗分佈開始,並用概似函數進行更新。
2. 專注於核心項 (Kernels)。 不要浪費時間在 \(2\pi\) 或 \(\sqrt{\dots}\) 等常數上,專注於包含 \(\theta\) 的項。
3. 後驗平均值。 除非另有說明,否則貝氏估計量就是後驗分佈的平均值。
4. 利用公式表。 SOA 提供的考試手冊中有分佈表,請善用它們來快速查找平均值和變異數,避免手動推導。
5. 不要被嚇倒。 貝氏題目往往只是包裝在微積分外衣下的代數運算。只要你能辨識出分佈,你就已經成功了一半!
繼續練習吧!貝氏估計是「參數模型的建立與選擇 (Construction and Selection of Parametric Models)」課程中佔分最重的部分之一。精通它,你就離及格分數不遠了!