マルコフ過程の世界へようこそ！

皆さん、こんにちは！CS2の学習において最も基礎的かつ重要な章へようこそ。アクチュアリーがどのようにして「自動車保険の等級（NCD）の移動」や「健康状態から病気、そして死亡へと至る人の遷移」をモデル化しているのか、不思議に思ったことはありませんか？まさに今、その仕組みを学ぶ場所にたどり着きました。

今日はマルコフ過程（Markov processes）について学習します。名前を聞いて身構える必要はありません。その本質は「忘れっぽい」システムであるということです。過去の経緯は関係ありません。重要なのは「今、どこにいるか」だけなのです。さあ、一緒に飛び込んでいきましょう！

1. マルコフ過程とは何か？

ボードゲームを想像してみてください。次の自分の動きが、直前に振ったサイコロの目と、今自分がどのマスに止まっているかだけで決まるとします。そのマスにたどり着くまでに、「6」を出したのか、「刑務所行き」のカードで飛ばされてきたのかは一切関係ありません。この「記憶がない」性質こそが、マルコフ過程の定義です。

マルコフ性

確率過程 \( \{X_t\} \) がマルコフ性を持つとは、その過程の将来の状態が現在の状態のみに依存し、そこに至るまでの過去の事象の系列には依存しないことを指します。

離散時間過程における数学的な定義は以下の通りです：

\( P(X_{n+1} = x_{n+1} | X_n = x_n, X_{n-1} = x_{n-1}, \dots, X_0 = x_0) = P(X_{n+1} = x_{n+1} | X_n = x_n) \)

クイックレビュー： マルコフ性は「金魚の記憶」と覚えると良いでしょう。非常に記憶力が短く、今この瞬間どこにいるかしか覚えていないのです。

最初は難しく感じるかもしれませんが、大丈夫です...

多くの学生が、この表記に圧倒されてしまいます。でも、これだけ覚えておいてください：過去はすでに過ぎ去ったもの（The Past is Passed）。未来を予測するために必要な情報は、すべて現在の状態の中に詰まっています。

2. マルコフ過程の分類

すべてのマルコフ過程が同じ形をしているわけではありません。これらは時間と状態空間という2つの観点から分類されます。

時間：離散時間 vs 連続時間

  • 離散時間： 特定の間隔で変化が起こるもの（例：1年ごとの終了時）。例：保険契約の更新時のみ等級が見直されるNCDシステム。
  • 連続時間： いつでも変化が起こり得るもの。例：人が病気になったり亡くなったりするのは、深夜0時ちょうどではなく、一日のどの瞬間でも起こり得ます！

状態空間：離散状態空間 vs 連続状態空間

  • 離散状態空間： 数えられる「箱」のいずれかにいる状態。例：保険金請求回数（0回、1回、2回…）。
  • 連続状態空間： ある範囲内のどんな値もとり得る状態。例：企業の正確な株価。

注：CS2では、離散状態空間を持つ過程、すなわち「マルコフ連鎖」に焦点を当てて学習します。

3. 遷移確率

私たちは現在の状態のみを気にするため、状態 i から状態 j へ移動する確率を知りたいと考えます。これを遷移確率（transition probability）と呼びます。

遷移行列（\( P \)）

離散時間マルコフ連鎖では、これらの確率をすべて正方行列にまとめます。状態が1、2、3ある場合、行列は以下のようになります：

\( P = \begin{pmatrix} p_{11} & p_{12} & p_{13} \\ p_{21} & p_{22} & p_{23} \\ p_{31} & p_{32} & p_{33} \end{pmatrix} \)

見方： 行は出発点（from）を、列は到達点（to）を表します。つまり、\( p_{12} \) は状態1から状態2へ移動する確率です。

遷移行列の重要なルール：
  • ルール1： すべての要素は0から1の間であること（確率だからです！）。
  • ルール2： すべての行の合計は必ず1になること。これは、過程が（同じ状態にとどまるとしても）必ずどこかへ行く必要があるためです。
よくある間違い：

学生はよく列の合計を1にしようとしますが、ストップ！ 合計が1にならなければならないのは行だけです。列の合計が何になろうと問題ありません。

4. 時間的定常性（Time Homogeneity）

マルコフ過程が時間的に定常（time-homogeneous）であるとは、いつの時点であっても、状態間の移動確率が変わらないことを指します。

例： 「健康」な人が「病気」になる確率が、今日と10年後で変わらないなら、その過程は時間的に定常です。もし年齢を重ねるにつれてリスクが高まる（実際にはそうですよね！）なら、それは非定常（non-homogeneous）です。

知っていましたか？ 試験問題の多くは「時間的定常なマルコフ連鎖を考える…」という一文から始まります。これはラッキーなことです！遷移行列 \( P \) が時間を通じて一定であることを意味するからです。

5. チャップマン・コルモゴロフの方程式

難しそうな名前ですが、実は非常に直感的な概念です。これを使うと、複数ステップにわたる遷移確率を求めることができます。

状態 i から j へ2ステップで移動する確率を知りたいとします。その場合、最初のステップで i から中間状態 k へ移動し、次のステップで k から j へ移動しなければなりません。

数学的には、\( n \) ステップ後の遷移行列は、1ステップの行列を \( n \) 乗したものになります：

\( P^{(n)} = P \times P \times \dots \times P = P^n \)

ステップごとの例：
もし1年後の遷移行列 \( P \) が手元にあれば、3年間の確率を知りたいときは \( P^3 \) を計算すればよいのです。

重要ポイント：

初期分布ベクトル \( \pi_0 \) が与えられたとき、\( n \) ステップ後に特定の状態にいる確率を求めるには：
\( \pi_n = \pi_0 P^n \)

6. まとめとクイックレビュー

マルコフ過程の基礎をここまでやり遂げましたね！覚えておくべきチェックリストです：

1. マルコフ性： 将来は現在のみに依存する（記憶がない）。
2. 状態と時間： 離散的（ステップや箱）か連続的（流動的）か。
3. 遷移行列： 行＝「from」、列＝「to」。行の合計は必ず1。
4. 時間的定常性： 移動のルールが時間経過で変化しない。
5. チャップマン・コルモゴロフ： 行列の掛け算を使って、複数ステップ先の未来を予測する。

プロからのアドバイス：NCDや保険の問題で行列を作成する際は、最初に状態遷移図を描いてください。そうすれば、行列を埋める際のミスがぐっと減ります！

これらの定義をしっかり練習しておきましょう。これらはCS2で今後遭遇するより複雑なモデルを構築するための土台となります。皆さんなら大丈夫！