ベイズ更新の世界へようこそ！

こんにちは！新しい証拠を見て考えを改めた経験があるなら、あなたはすでにベイズ的（Bayesian）な考え方ができています。CS1のこの章では、（パラメータを固定された値とみなす）「頻度主義（Frequentist）」の統計から離れ、パラメータを独自の分布を持つ確率変数として扱うベイズ統計学（Bayesian Statistics）の世界へ踏み出します。

最初は少し「メタ」で難しく感じるかもしれませんが、心配はいりません。私たちは単に、「仮説を立てて（事前分布）、データを見て（尤度）、より良い予測に更新する（事後分布）」というプロセスを学問的に表現する方法を学ぶだけです。それでは、さっそく見ていきましょう！

1. 基本構成要素：ベイズの定理

事後分布（Posterior Distribution）を求めるには、ベイズの定理の特定の形式を使います。これは、事前の信念と新しい情報を組み合わせる「レシピ」のようなものだと考えてください。

基本公式

その関係は次のように定義されます。
\( \pi(\theta | x) = \frac{f(x|\theta) \pi(\theta)}{f(x)} \)

しかし、ほとんどのCS1試験では、計算が非常にシンプルな比例関係（Proportionality）の形式を使用します。
\( \pi(\theta | x) \propto f(x|\theta) \times \pi(\theta) \)

平たく言えば、次のようになります。
事後分布 \(\propto\) 尤度 \(\times\) 事前分布

重要用語：
1. 事前分布（Prior Distribution）\(\pi(\theta)\)： データを見る前に、パラメータ \(\theta\) について信じていること。
2. 尤度関数（Likelihood Function）\(f(x|\theta)\)： \(\theta\) が特定の値であると仮定したときに、データ \(\theta\) が得られる確率。
3. 事後分布（Posterior Distribution）\(\pi(\theta|x)\)： データ \(x\) を確認した後の、\(\theta\) に対する更新された信念。
4. 比例記号（\(\propto\)）： 「〜に比例する」という意味です。\(\theta\) を含まない定数は無視して構いません。

クイックレビュー：「定数の無視」テクニック

事後分布を計算するとき、\(\theta\) を含まない項があれば、それは捨ててしまってOKです！例えば \( 3\theta^2 e^{-5\theta} \) という式がある場合、「3」は定数なので導出中には無視できます。これを知っているだけで、計算はずっと楽になります。

2. 事後分布を求めるためのステップ・バイ・ステップ

試験で事後分布を求めるように言われたら、毎回必ず以下の手順に従ってください。

ステップ 1：事前分布を書き出す。 \(\pi(\theta)\) を特定し、\(\theta\) を含まない定数があれば削除します。
ステップ 2：尤度を書き出す。 これが \(f(x|\theta)\) です。\(n\) 個のサンプルがある場合、個々の確率密度の積 \( \prod f(x_i|\theta) \) となります。
ステップ 3：それらを掛け合わせる。 ステップ1とステップ2の項を組み合わせます。
ステップ 4：簡略化する。 すべての \(\theta\) の項と \(e^{\dots \theta}\) の項をまとめます。
ステップ 5：分布を特定する。 簡略化した式を見てください。それがガンマ分布、ベータ分布、正規分布のような有名な分布の「カーネル（変数部分）」と似ていませんか？（必ず「Formulae and Tables」ブックを確認してください！）

たとえ：瓶の中に赤いキャンディが何個あるかを推測するとします。あなたの「事前分布」はラベルに基づいた事前の予想です。キャンディを5個取り出したときに見るのが「尤度」です。そして「事後分布」が、あなたの新しく、より正確な予想になります。

3. 共役事前分布：便利な「ショートカット」

CS1では、よく共役事前分布（Conjugate Priors）に出会います。これはかっこいい言葉ですが、意味は簡単です。「事前分布と事後分布が同じ分布族に属しているとき、その事前分布は尤度と共役である」ということです。

このペアを知っていることは、頭の中に「カンニングペーパー」を持っているようなものです。シラバスで最も重要な3つのペアを紹介します。

A. ポアソン-ガンマ・ペア

データが ポアソン分布(\(\theta\)) に従い、事前分布が ガンマ分布(\(\alpha, \lambda\)) である場合、事後分布もまた ガンマ分布 になります。

更新ルール：
新しい \(\alpha_{post} = \alpha + \sum x_i\)
新しい \(\lambda_{post} = \lambda + n\)
（\(n\) はサンプルサイズ）

B. 二項-ベータ・ペア

データが 二項分布(\(n, \theta\)) に従い、事前分布が ベータ分布(\(a, b\)) である場合、事後分布は ベータ分布 になります。

更新ルール：
新しい \(a_{post} = a + \text{成功回数}\)
新しい \(b_{post} = b + \text{失敗回数}\)

C. 正規-正規ペア（分散既知）

データが 正規分布(\(\theta, \sigma^2\)) に従い、事前分布が 正規分布(\(\mu, \tau^2\)) である場合、事後分布も 正規分布 になります。

補足：こちらの計算は少し代数的に複雑ですが、「新しい平均」は本質的に事前平均と標本平均の重み付け平均になります。

まとめ： 共役事前分布を使えば、面倒な積分を行う必要はありません。分布のパラメータを「更新」するだけで済みます。

4. 事後分布の要約

事後分布を求めたら、試験官はよく点推定値（Point Estimate）を求めてきます。これは \(\theta\) の「最良の推測」を表す一つの数値のことです。

1. 事後平均（Posterior Mean）

事後分布の期待値 \(E[\theta | x]\) です。
例：事後分布がガンマ分布(\(\alpha', \lambda'\))なら、平均は \(\alpha' / \lambda'\) です。

2. 事後モード（Posterior Mode）

\(\theta\) の最も起こりやすい値（分布の頂点）です。事後密度を最大化（微分してゼロに設定）することで求めます。
覚え方：「Mode」＝「Most（最も多い）」。一番人気の値です！

3. 事後中央値（Posterior Median）

事後分布を二等分する値です。試験ではあまり出題されませんが、\(P(\theta \le M | x) = 0.5\) となる \(M\) を解いて求めます。

5. よくある落とし穴

1. \(n\) と \(\sum x_i\) の混同： ポアソン-ガンマ更新で、\(\lambda\) に \(n\) を掛けるのを忘れる学生が非常に多いです。\(\lambda\) は サンプルサイズ、\(\alpha\) は 合計カウント に対応することを覚えておきましょう。

2. 尤度の積を忘れる： データポイントが10個あるなら、尤度は \(f(x_1|\theta) \times f(x_2|\theta) \dots f(x_{10}|\theta)\) です。一つの \(x\) だけを使わないように！

3. 比例定数にパニックになる： 特に指示がない限り、分母 \(f(x)\) を計算する必要はありません。\(\theta\) を含む項だけに集中してください。

最終クイックレビュー

- 事前分布： データを見る前の信念。
- 尤度： データが教えてくれる情報。
- 事後分布： 更新された信念（事前分布 \(\times\) 尤度）。
- 共役： 事前分布と事後分布が同じ種類の分布であること。
- 目標： \(\theta\) の分布を特定し、その性質（平均やモード）を使って推定を行うこと。

導出を何度も練習しましょう！ガンマやベータのカーネルパターンを認識できるようになれば、この「シンプルなケース」がCS1試験で最も得点源になる楽しい問題だと気づくはずです。あなたなら大丈夫、頑張ってください！