マルコフ連鎖の世界へようこそ！

こんにちは！今日は、アクチュアリーのツールキットの中でも特にエレガントで有用なツールであるマルコフ連鎖（Markov Chains）について掘り下げていきます。自動車保険の「等級（No Claims Discount）」がどう推移するかの確率計算から、保険契約者が健康な状態を維持するかの予測まで、マルコフ連鎖は頼りになる強力なモデルです。

確率過程という言葉を聞いて身構える必要はありません。マルコフ連鎖の核心は、「未来の状態が現在地のみによって決まる」というシンプルなルールの下で、時間が経過するにつれて状況がどう変化するかを見る手法にすぎません。ステップバイステップで紐解いていきましょう！

1. マルコフ連鎖とは？

マルコフ連鎖とは、離散状態空間において異なる「状態」の間を移動する確率過程（時間によってインデックスされた確率変数の集合）のことです。

「黄金律」：マルコフ性

最も重要なのはマルコフ性（Markov Property）です。これは、「プロセスの将来の挙動は、過去の経緯には依存せず、現在の状態のみに依存する」という性質です。言い換えれば、このプロセスには「記憶がない」のです。

\( P(X_{n+1} = j | X_n = i, X_{n-1} = i_{n-1}, ..., X_0 = i_0) = P(X_{n+1} = j | X_n = i) \)

アナロジー：ハスの葉の上のカエル
池のハスの葉の上を飛び回るカエルを想像してください。カエルがハスの葉Aにいるとき、次のジャンプ先がハスの葉Bになる確率は、カエルが今Aにいるという事実のみに依存します。カエルが以前にハスの葉Cから来たのか、Dから来たのかは全く関係ありません。過去の履歴は次のジャンプに影響を与えないのです！

クイックレビュー：
- 状態空間 (S)：取り得る「場所」や「ステータス」の集合（例：{健康、病気、死亡}）。
- 離散時間：特定のステップ（時刻0、1、2...）でプロセスを観測します。

2. 遷移確率と遷移確率行列 (TPM)

ある状態から別の状態へどうやって移動するのでしょうか？そこで使うのが遷移確率です。

1ステップ遷移確率

状態 \( i \) から状態 \( j \) へちょうど1ステップで移動する確率は次のように表記されます。
\( p_{ij} = P(X_{n+1} = j | X_n = i) \)

遷移確率行列 (TPM)

複数の状態がある場合、これらの確率を正方行列にまとめます。通常、これは \( P \) と呼ばれます。各行は「出発地」を、各列は「目的地」を表します。

TPMの重要なルール：
1. 各要素は0から1の間であること（確率だからです！）。
2. 各行の合計は必ず1になること。これは、プロセスが（同じ状態にとどまる場合も含めて）どこか別の状態へ「必ず」移動するためです。

知っていましたか？
IFoAの試験では、行ではなく列を足してしまう間違いがよく見られます。常に確認しましょう：行＝「出発」、列＝「到着」、行の合計＝1。

3. 時間的一様性

CS2では、多くの場合時間的一様性（Time-Homogeneous）を持つマルコフ連鎖を扱います。これは、時間が経ってもルールが変わらないことを意味します。状態Aから状態Bへの移動確率は、今日でも来週でも同じというわけです。

例：公平なコイン投げは時間的一様です。表が出る確率は常に0.5です。
反例：人間の死亡率は時間的一様ではありません。年齢を重ねるにつれて、「生存」状態から「死亡」状態へ「移動」する確率は毎年増加するからです。

4. さらに先へ：多ステップ遷移

もし、2ステップ後や \( n \) ステップ後に状態 \( j \) にいる確率を知りたいときはどうすればよいでしょうか？

チャップマン・コルモゴロフ方程式

この方程式は、\( m+n \) ステップで \( i \) から \( j \) へ行くには、ステップ \( m \) の時点でどこかの中間状態 \( k \) を通過しなければならないことを示しています。

\( p_{ij}^{(m+n)} = \sum_{k \in S} p_{ik}^{(m)} p_{kj}^{(n)} \)

「魔法」のテクニック：
\( n \) ステップ遷移行列を求めるには、1ステップ遷移行列を \( n \) 乗するだけです！
\( P^{(n)} = P^n \)

つまり、2ステップの確率が欲しければ \( P \times P \) を計算し、3ステップなら \( P \times P \times P \) を計算すれば良いのです。

5. 状態の分類

すべての状態が同じ性質を持つわけではありません。鎖の「長期的な」挙動を理解するために状態を分類します。

  • 既約性 (Irreducible)：どの状態からでも、最終的に他のすべての状態へ到達できる場合、その鎖は既約であると言います。「罠」や孤立した島はありません。
  • 周期性 (Periodicity)：ある状態に戻ってくるステップ数が \( d \) の倍数に限定される場合、その状態は周期 \( d \) を持ちます。もし \( d=1 \) なら、その状態は非周期的です。（時計をイメージしてください：12時は12時間ごとにしか戻ってきません）。
  • 再帰的 (Recurrent) vs 一時的 (Transient)：
    - 再帰的：ここからスタートした場合、いつか必ず（確率1で）戻ってくる。
    - 一時的：出発して二度と戻ってこない可能性がある。

覚え方のコツ：
吸収状態（生命保険モデルにおける「死亡」のような状態）をブラックホールだと考えてください。一度入ると二度と出られません。これは再帰的状態の特別なタイプです。

6. 定常分布 (\( \pi \))

マルコフ連鎖を非常に長い時間走らせると、一定のパターンに落ち着くでしょうか？この「定常状態」を定常分布と呼び、ベクトル \( \pi \) で表します。

定常分布 \( \pi \) を求めるには、次の方程式を解きます：
1. \( \pi P = \pi \) （もう1ステップ進んでも分布が変わらない）
2. \( \sum \pi_i = 1 \) （確率の総和は1でなければならない）

ステップバイステップ：\( \pi \) を解く
1. 行列方程式 \( \pi P = \pi \) を立てます。これで連立方程式が作れます。
2. 方程式のどれか一つは冗長（意味がない）なので、一つ捨てます。
3. 捨てた式の代わりに、「正規化条件」：\( \pi_1 + \pi_2 + ... + \pi_n = 1 \) を使います。
4. 未知数を解きます。

重要なポイント：
鎖が既約かつ非周期的であれば、どこからスタートしても、最終的に分布は定常分布 \( \pi \) に収束します！

7. よくある落とし穴

1. 「記憶なし」のルールを忘れる：もし試験問題で「ある状態にどれだけ長くいたかによって確率が変わる」と書かれていたら、それは単純なマルコフ連鎖ではないかもしれません！（マルコフ性を持たせるために状態を増やす必要があるかもしれません）。
2. 行列の掛け算の順序：通常、\( \text{行ベクトル} \times \text{行列} \) であることを忘れないでください。行列代数では順序が重要です！
3. 「合計1」の確認をサボる：最終的な \( \pi \) の値が正確に1になるか、必ず確認しましょう。

最初は難しく感じるかもしれませんが、大丈夫です！ 数式は見た目ほど怖くありません。TPMを使って状態間を「ジャンプ」することに慣れれば、マルコフ連鎖が未来を予測するための非常に論理的な方法であると気づくはずです。

まとめレビュー

マルコフ性：現在のみが重要。
TPM：行の合計は1。\( P_{ij} \) は「\( i \) から \( j \) へ」。
nステップ：行列のべき乗（\( P^n \)）を使う。
定常分布：\( \pi P = \pi \) と \( \sum \pi = 1 \) を解く。
状態：既約、周期的、再帰的、一時的などの分類がある。