歡迎來到貝葉斯與經驗貝葉斯的世界！

你好！今天，我們要深入探討 CS1 課程中最有趣的部分之一：純貝葉斯方法 (Pure Bayesian approach) 與 經驗貝葉斯方法 (Empirical Bayes approach) 的比較。如果你曾經覺得統計學只是一堆枯燥的公式，這一章將會讓你改觀。這一切的核心在於：我們如何運用已知知識（或數據告訴我們的訊息）來對未來做出更好的預測。別擔心，即使一開始覺得有點抽象，我們也會一步步為你拆解！

1. 「純」貝葉斯方法：先驗信念的力量

在標準的貝葉斯世界中，我們從一個先驗分佈 (Prior Distribution) 開始。這代表了在觀察當前數據之前，我們對於參數（我們稱之為 \(\theta\)）的主觀信念或專家知識。

運作方式：

1. 我們選擇一個先驗 (Prior)：\(\pi(\theta)\)。
2. 我們收集數據 (Data)：\(x\)。
3. 我們計算概似函數 (Likelihood)：\(f(x|\theta)\)。
4. 我們將兩者結合得到後驗分佈 (Posterior)：\(\pi(\theta|x) \propto f(x|\theta) \times \pi(\theta)\)。

比喻：想像你在賭一位朋友的廚藝。你的先驗是基於你知道他是一位專業廚師。即使他煮的一頓飯（即數據）稍微燒焦了，你的後驗信念仍然會認為他很可能是一位出色的廚師，因為你的先驗實在太強了！

純貝葉斯方法的關鍵假設：
  • 先驗分佈是已知且固定的，且在看到數據之前就已確定。
  • 先驗通常來自主觀的專家意見或來自完全不同時期的歷史記錄。
  • 我們將參數 \(\theta\) 視為一個隨機變量。

快速回顧：在純貝葉斯中，先驗就像是實驗開始前我們已經準備好的「專家推測」。

2. 經驗貝葉斯 (EB) 方法：讓數據說話

有時候，我們沒有「專家」可以給我們一個先驗。或者，我們擁有許多相似群組的數據（例如 100 位不同的汽車保險客戶）。我們不再憑空猜測一個先驗，而是利用來自所有群組的數據來估計先驗應該長什麼樣子。這就是為什麼它被稱為「經驗」——因為它是基於觀察結果的。

運作方式：

我們不是憑空選出一個先驗分佈，而是查看整個投資組合 (portfolio) 的數據。我們假設投資組合中的所有個人都來自同一個「總體」，並利用總體數據來估計先驗分佈的參數（這些被稱為超參數 (hyperparameters)）。

比喻：想像你是一位剛接手一個新班級的老師。你不知道「學生 A」的表現如何，但你看到了全班的成績（投資組合）。你利用全班的平均成績來形成你對學生 A 的「先驗」期望。

經驗貝葉斯方法的關鍵假設：
  • 個別風險（或參數）是「可交換的」(exchangeable)。這意味著我們假設群組中的所有個人都遵循相同的總體模式。
  • 先驗的超參數可以從觀察到的整個群組數據中可靠地估計出來。
  • 它充當了頻率統計（僅使用數據）與貝葉斯統計（使用先驗）之間的橋樑。

你知道嗎？經驗貝葉斯是精算工作中信度理論 (Credibility Theory) 的基石。它幫助我們決定應該多大程度上信任個人自身的數據，以及多大程度上信任整個群組的數據！

3. 兩者比較：並列分析

理解兩者的差異對考試至關重要。以下是簡單的比較分析：

特徵 純貝葉斯 (Pure Bayes) 經驗貝葉斯 (Empirical Bayes)
先驗來源 主觀知識或固定的歷史數據。 直接從當前的數據集/投資組合中估計。
超參數 由精算師選定的固定值。 我們需要估計的未知值（例如使用平均值或變異數）。
哲學觀點 「在看到數據之前，我認為這就是真實情況。」 「群組數據告訴我先驗應該是什麼。」

記憶小撇步：
Pure Bayes (純貝葉斯) = Professional Opinion (專業意見)。
Empirical Bayes (經驗貝葉斯) = Evidence from the Group (來自群組的證據)。

4. 為什麼這對精算師很重要？

在 CS1 中，你經常會看到它應用於保險索賠 (insurance claims)。
如果你有一位沒有任何歷史記錄的新保單持有人，純貝葉斯方法可能會使用基於全國平均水平的先驗。
而經驗貝葉斯方法則會查看你公司當前所有保單持有人的索賠歷史，以估計平均值和變異數，然後將其應用到這位新客戶身上。

5. 避免常見錯誤

  • 混淆參數與超參數：記得 \(\theta\) 是針對個人的參數。而先驗分佈本身的參數（例如 Gamma 分佈中的 \(\alpha\) 和 \(\beta\)）才是超參數。在經驗貝葉斯中，我們估計的是超參數。
  • 認為經驗貝葉斯是「純」貝葉斯：傳統的貝葉斯學者有時會爭辯說經驗貝葉斯不是「真正」的貝葉斯主義，因為它使用了兩次數據（一次用於尋找先驗，一次用於尋找後驗）。但在考試中，請記住：經驗貝葉斯是一種務實的混合方法。

總結與關鍵要點

關鍵要點 1：純貝葉斯方法依賴於預先指定的先驗分佈，通常基於獨立於當前樣本的主觀判斷或先驗知識。

關鍵要點 2：經驗貝葉斯方法從觀察到的群組或投資組合數據中估計先驗分佈的參數（超參數）。

關鍵要點 3：經驗貝葉斯的主要假設是數據的個體成分足夠相似（可交換），因此群組的行為可以為我們提供關於個體先驗的訊息。

繼續練習！貝葉斯統計與你在學校學到的數學相比，感覺可能會有點「顛倒」，但一旦你掌握了將「舊知識」與「新數據」結合的邏輯，它將成為你精算工具箱中非常有力的工具。