ベイズ統計学の世界へようこそ!

これまでのCS1の学習では、主に頻度論(Frequentist)統計学を扱ってきました。頻度論では、パラメータ(平均 \(\mu\) など)を「未知の固定された値」として扱います。しかし、今日からはベイズ統計学(Bayesian Statistics)の世界に入ります。この世界では、パラメータを確率変数として扱います。つまり、データを見る前からパラメータについて自分なりの「見解(信念)」を持つことができるのです!最初は頭が混乱するかもしれませんが、大丈夫です。一つずつ丁寧に見ていきましょう。

この講義を終える頃には、事前の信念と新しい証拠を組み合わせて、より正確な結論を導き出す方法が理解できているはずです。これこそが、アクチュアリーとしての判断力の核心です!

1. 3人の銃士:事前分布・尤度・事後分布

ベイズ統計学を理解するために、主要な3つの登場人物を知っておく必要があります。「天気予報」を例にして考えてみましょう。

A. 事前分布 \(\pi(\theta)\)

事前分布(Prior Distribution)は、データを得るのパラメータ \(\theta\) についての信念を表します。これまでの経験に基づく「直感」のようなものです。

例:ロンドンの4月だから、外を見る前に「今日は70%の確率で雨が降るだろう」と予想する。

B. 尤度関数 \(f(x|\theta)\)

尤度(Likelihood)は、あるパラメータ \(\theta\) が真であると仮定したときに、実際に観測されたデータ \(x\) が得られる確率です。これが「新しい証拠」となります。

例:窓の外を見ると、暗くて厚い雲が広がっている。「尤度」とは、実際に雨が降る直前に、このような暗い雲を見かける頻度のことです。

C. 事後分布 \(\pi(\theta|x)\)

事後分布(Posterior Distribution)は、新しいデータを考慮したの、\(\theta\) についての更新された信念です。これは、事前分布と尤度を組み合わせた結果です。

例:ロンドンの4月という事前知識と、今見た暗い雲の情報を合わせると、雨が降る確率は95%であると確信した。

クイック復習:
事前分布:データを見る前の信念。
尤度:データが教えてくれること。
事後分布:データを見た後の更新された信念。

2. 黄金の公式:ベイズの定理

CS1では、事後分布を求めるために特定のベイズの定理を使います。公式な形は以下の通りです:

\(\pi(\theta|x) = \frac{f(x|\theta)\pi(\theta)}{\int f(x|\theta)\pi(\theta) d\theta}\)

ちょっと待って!焦らないでください! 分母(下側の部分)は、確率の総和を1にするための単なる定数です。試験問題のほとんどでは、比例関係のショートカットを使います:

事後分布 \(\propto\) 尤度 \(\times\) 事前分布

\(\propto\) という記号は「〜に比例する」という意味です。これは試験での最強の味方です。尤度と事前分布を掛けて、その結果として現れる「形」を特定できれば、面倒な積分計算をする必要はありません!

3. 共役事前分布

計算が驚くほどスムーズに進むケースがあります。共役事前分布(Conjugate Prior)とは、ある特定の尤度と組み合わせたときに、事後分布が事前分布と同じ確率分布の族になる特別な事前分布のことです。

なぜこれが便利なのか?
もし事前分布がガンマ分布で、事後分布もガンマ分布になれば、複雑な計算は一切不要です。パラメータ(\(\alpha\) や \(\beta\) など)がどう変化したかを確認するだけで済みます!

知っていましたか? 共役事前分布を使うことは、ゲームのショートカットのようなものです。難しい「ボス戦」(複雑な積分)をスキップして、すぐに報酬(事後パラメータ)を手に入れることができるのです。

4. 覚えるべき「3大」共役ペア

IFoAの試験では、頻繁にこの3つのペアが問われます。この「更新ルール」を暗記しておけば、かなりの時間を節約できます。

ペア1:ポアソン尤度 + ガンマ事前分布

データ \(x_1, ..., x_n\) が ポアソン(\(\lambda\)) 分布に従い、\(\lambda\) の事前分布が ガンマ(\(\alpha, \beta\)) である場合:
\(\lambda\) の事後分布は ガンマ(\(\alpha + \sum x_i, \beta + n\)) となります。

覚え方:
\(\alpha\) には観測値の合計を足す。
\(\beta\) には観測データの数を足す。

ペア2:二項尤度 + ベータ事前分布

データが 二項(\(n, \theta\)) 分布(\(\theta\) は成功確率)に従い、\(\theta\) の事前分布が ベータ(\(\alpha, \beta\)) である場合:
\(\theta\) の事後分布は ベータ(\(\alpha + \text{成功数}, \beta + \text{失敗数}\)) となります。

ヒント: データが ベルヌーイ分布 の場合、それは \(n=1\) の二項分布と同じです。更新ルールも全く同じです!

ペア3:正規尤度 + 正規事前分布

データが 正規(\(\theta, \sigma^2\)) 分布(\(\sigma^2\) は既知)で、\(\theta\) の事前分布が 正規(\(\mu_0, \sigma_0^2\)) である場合:
事後分布も正規分布になります。更新された平均と分散の式は少し長いですが、本質的には「事前平均」と「標本平均」をそれぞれの精度(重み)に基づいて調整する形になっています。

5. ステップ・バイ・ステップ:事後分布の求め方

標準的な共役ペアではない問題に直面したときは、以下の手順で進めてください:

1. 事前分布 \(\pi(\theta)\) を書き出す:\(\theta\) を含まない定数は無視して構いません。
2. 尤度 \(f(x|\theta)\) を書き出す:これはデータの同時密度関数です。\(n\) 個の独立した観測値がある場合は、それぞれの密度を掛け合わせます。
3. 掛け合わせる:\(\pi(\theta|x) \propto f(x|\theta) \times \pi(\theta)\)。
4. 整理する:\(\theta\) を含む項をまとめ、それ以外は無視します。
5. 分布を特定する:結果の式を見ます。ガンマ分布、ベータ分布、正規分布のカーネル(核)に似ていませんか?公式集(Tables)と照らし合わせて、新しいパラメータを特定しましょう。

6. よくある間違い

1. \(n\) を忘れる: ポアソン・ガンマの更新で、\(\beta + n\) を忘れないようにしましょう。10年分のデータがあれば、\(n=10\) です。
2. \(\alpha\) と \(\beta\) を混同する: ガンマ分布とベータ分布の定義は、必ず公式集で再確認してください。教科書によって記号が入れ替わっていることがあります!
3. 過剰な計算: 分母(正規化定数)をわざわざ計算して時間を浪費する学生が多いです。「xの周辺分布を求めよ」という指定がない限り、\(\propto\) を使って無視して大丈夫です。

重要ポイントのまとめ

  • ベイズ統計学は、新しいデータで初期の信念を更新する手法。
  • 事後分布 \(\propto\) 尤度 \(\times\) 事前分布
  • 共役事前分布を使うと、事後分布が同じファミリーになり計算が簡単になる。
  • ポアソンはガンマ二項はベータ正規は正規で更新する。
  • パラメータ \(\theta\) を含む項だけに注目し、それ以外は定数として扱う。

最初は難しく感じるかもしれませんが、大丈夫です!ベイズ統計学は思考の枠組みそのものが違います。「3大ペア」のパラメータ更新ルールに慣れてしまえば、CS1試験の中でも得点源となる最も予測可能な問題になるはずですよ。