Define and apply a Markov process

マルコフ過程の世界へようこそ！

皆さん、こんにちは！CS2の学習において極めて重要な章へようこそ。離散時間マルコフ連鎖では、システムは決まったステップ（無事故割引（NCD）制度の年次見直しなど）で進行します。しかし、現実世界は連続的に動くことが多く、被保険者は一日のどの瞬間でも病気にかかったり、回復したり、亡くなったりします。

無記憶性（memoryless property）を持つ連続時間確率過程は、マルコフ過程（Markov process）（特に状態空間が離散的である場合はマルコフ・ジャンプ過程（Markov jump process））と呼ばれます。本章では、マルコフ過程の本質的な仕組みを定義し、それを支配する微分方程式を導出し、標準的なアクチュアリー・モデルへと応用していきます。

1. 定義と連続時間マルコフ性

\( \{X_t : t \ge 0\} \) を離散状態空間 \( S \) の値をとる連続時間確率過程とします。任意の将来の状態の確率分布が現在の状態のみに依存し、過去の履歴には依存しないとき、この過程はマルコフ性（Markov property）を満たします。

厳密には、任意の時点 \( 0 \le t_0 < t_1 < \dots < s < s+t \) および状態 \( x_0, x_1, \dots, i, j \in S \) に対して以下が成り立ちます：

\( P(X_{s+t} = j \mid X_s = i, X_{t_n} = x_n, \dots, X_{t_0} = x_0) = P(X_{s+t} = j \mid X_s = i) \)

フィルトレーションの観点では、時点 \( s \) までの過程の履歴を \( \mathcal{F}_s \) と表すと、以下のようになります：

\( P(X_{s+t} = j \mid \mathcal{F}_s) = P(X_{s+t} = j \mid X_s) \)

時点 \( s \) での状態 \( i \) から時点 \( s+t \) での状態 \( j \) への遷移確率を \( p_{ij}(s, s+t) \) と表します。この確率が開始時点 \( s \) に依存せず、経過期間 \( t \) のみに依存する場合、その過程は時間的に定常（time-homogeneous）であり、単に \( p_{ij}(t) \) と表記されます。

2. 遷移強度と生成元行列

離散時間では、一定のステップにわたる確率によって遷移が支配されます。連続時間では、遷移強度（transition intensity）（ハザード率または遷移力とも呼ばれます）を用いて瞬間的な移動を記述します。

遷移強度の定義

\( i \ne j \) のとき、時点 \( t \) における遷移強度 \( \mu_{ij}(t) \) は以下のように定義されます：

\( \mu_{ij}(t) = \lim_{h \to 0^+} \frac{p_{ij}(t, t+h)}{h} \)

これは、微小時間区間 \( h \) において次が成り立つことを意味します：

・\( j \ne i \) のとき、\( p_{ij}(t, t+h) = \mu_{ij}(t) h + o(h) \)
・\( p_{ii}(t, t+h) = 1 - \sum_{j \ne i} \mu_{ij}(t) h + o(h) = 1 + \mu_{ii}(t) h + o(h) \)

ここで \( o(h) \) は、\( h \to 0 \) のときに \( h \) よりも速く0に収束する項を表します。

強度行列の各行の合計が常に0になるよう、対角成分を \( \mu_{ii}(t) = -\sum_{j \ne i} \mu_{ij}(t) \) と定義します。

生成元行列（\( Q \)）

過程が時間的に定常である場合、遷移強度は一定となります：\( \mu_{ij}(t) = \mu_{ij} \)。これらを生成元行列（generator matrix） \( Q \) に整理します：

\( Q = \begin{pmatrix} \mu_{11} & \mu_{12} & \mu_{13} \\ \mu_{21} & \mu_{22} & \mu_{23} \\ \mu_{31} & \mu_{32} & \mu_{33} \end{pmatrix} \)

\( Q \) の重要なルール：

・非対角成分は非負であること：すべての \( i \ne j \) に対して \( \mu_{ij} \ge 0 \)。
・対角成分は非正であること：\( \mu_{ii} \le 0 \)。
・すべての行の合計は0になること：\( \sum_{j} \mu_{ij} = 0 \)。

3. コルモゴロフの微分方程式

チャップマン・コルモゴロフの方程式の連続時間版にあたるもので、微分方程式を通じて遷移確率と遷移強度を結びつけます。

時間的定常な場合

時間的定常なマルコフ・ジャンプ過程では、2組の同値な方程式系が存在します：

1. コルモゴロフの前進微分方程式（Kolmogorov Forward Equations）：
\( \frac{d}{dt} p_{ij}(t) = \sum_{k} p_{ik}(t) \mu_{kj} = \sum_{k \ne j} p_{ik}(t) \mu_{kj} + p_{ij}(t) \mu_{jj} \)
行列形式：初期条件 \( P(0) = I \) のもとで、\( \frac{d}{dt} P(t) = P(t) Q \)。

2. コルモゴロフの後退微分方程式（Kolmogorov Backward Equations）：
\( \frac{d}{dt} p_{ij}(t) = \sum_{k} \mu_{ik} p_{kj}(t) = \sum_{k \ne i} \mu_{ik} p_{kj}(t) + \mu_{ii} p_{ij}(t) \)
行列形式：\( \frac{d}{dt} P(t) = Q P(t) \)。

時間的に非定常な場合

強度が時間または年齢 \( t \) に応じて変化する場合：

前進方程式： \( \frac{\partial}{\partial t} p_{ij}(s, t) = \sum_{k} p_{ik}(s, t) \mu_{kj}(t) \)

後退方程式： \( \frac{\partial}{\partial s} p_{ij}(s, t) = -\sum_{k} \mu_{ik}(s) p_{kj}(s, t) \)

単純なケースにおけるコルモゴロフ方程式の解法

単純な2状態の死亡モデルを考えます：状態0（生存）と状態1（死亡）とし、一定の遷移強度 \( \mu_{01} = \mu \)、および吸収状態である状態1（\( \mu_{10} = 0 \)）を持ちます。

状態0にとどまり続けるための前進方程式は以下の通りです：
\( \frac{d}{dt} p_{00}(t) = p_{00}(t) \mu_{00} = -\mu p_{00}(t) \)

変数分離を行い、\( p_{00}(0) = 1 \) を用いると：
\( p_{00}(t) = e^{-\mu t} \)

確率の合計は1にならなければならないため：
\( p_{01}(t) = 1 - p_{00}(t) = 1 - e^{-\mu t} \)

4. 滞留時間、ジャンプ連鎖、およびシミュレーション

マルコフ・ジャンプ過程は、別の状態へ遷移するまでの確率的な期間、状態 \( i \) にとどまります。

滞留時間の分布

他の状態へジャンプするまでに状態 \( i \) で過ごす時間 \( T_i \) は、滞留時間（holding time）（または待ち時間）と呼ばれます。マルコフ性により、\( T_i \) は無記憶性を持ち、指数分布（exponential distribution）に従います：

\( T_i \sim \text{Exponential}(\lambda_i) \)、ここで \( \lambda_i = -\mu_{ii} = \sum_{j \ne i} \mu_{ij} \)

状態 \( i \) における期待滞留時間は \( E[T_i] = \frac{1}{\lambda_i} = \frac{1}{-\mu_{ii}} \) です。

ジャンプ連鎖

過程が状態 \( i \) を離れるとき、（\( j \ne i \) である）特定の実態 \( j \) へジャンプする確率は、埋め込みジャンプ連鎖の確率によって与えられます：

\( q_{ij} = \frac{\mu_{ij}}{\sum_{k \ne i} \mu_{ik}} = \frac{\mu_{ij}}{-\mu_{ii}} \)

マルコフ・ジャンプ過程のシミュレーション

マルコフ・ジャンプ過程のサンプルパスは、以下の手順で段階的にシミュレーションできます：

・ステップ1： 時点 \( t = 0 \) における初期状態 \( X_0 = i \) から開始する。
・ステップ2： 一様疑似乱数 \( U_1 \sim U(0, 1) \) を用いて、滞留時間 \( T \sim \text{Exponential}(-\mu_{ii}) \) を \( T = -\frac{\ln(U_1)}{-\mu_{ii}} \) により生成する。
・ステップ3： 現在の時刻を \( t + T \) に更新する。これが最大シミュレーション期間を超える場合は終了する。
・ステップ4： 2つ目の独立した一様乱数 \( U_2 \) を用い、離散ジャンプ確率 \( q_{ij} \) に従って次の状態 \( j \ne i \) を選択する。
・ステップ5： \( i = j \) と設定し、ステップ2に戻る。

5. アクチュアリー業務への応用

1. ポアソン過程

強度 \( \lambda \) の斉時ポアソン過程は、時点 \( t \) までの事象発生数 \( N_t \) をカウントする、状態空間 \( \{0, 1, 2, \dots\} \) 上の連続時間マルコフ過程です。その生成元は \( \mu_{i, i+1} = \lambda \)、\( \mu_{ii} = -\lambda \) を持ち、その他の \( \mu_{ij} \) はすべて0となります。

・事象数： \( k = 0, 1, 2, \dots \) に対して \( P(N_t = k) = \frac{(\lambda t)^k e^{-\lambda t}}{k!} \)
・事象間隔時間： 独立同一に \( \text{Exponential}(\lambda) \) 分布に従う確率変数。

2. 疾病・死亡モデルおよび配偶関係モデル

マルコフ・ジャンプ過程は、多状態の保険や年金給付の標準的なモデルです：

・健康・病気・死亡モデル（Healthy-Sick-Dead Model）： 状態 \( \{H, S, D\} \)。「健康から病気（\( \sigma \)）」、「病気から健康（\( \rho \)）」、「健康から死亡（\( \mu \)）」、「病気から死亡（\( \nu \)）」の遷移が存在します。状態 \( D \) は吸収状態です。
・配偶関係モデル（Marriage Model）： 状態 \( \{ \text{独身}, \text{既婚}, \text{死別}, \text{離婚}, \text{死亡} \} \)。

6. 期間依存（セミマルコフ）モデル

標準的なマルコフ過程では、遷移強度は現在の年齢または暦時間 \( t \) のみに依存します。しかし、多くの医療保険契約において、回復率はその人がすでにどれだけの期間病気であったかに直接依存します。

遷移強度が現在の状態の滞在期間 \( z \) に依存する場合（すなわち \( \mu_{ij}(t, z) \)）、その過程は期間依存（duration-dependent）（セミマルコフ過程（semi-Markov process））となります。滞在期間が拡張された状態変数 \( (X_t, Z_t) \) の一部として追跡されない限り、状態単体に対する古典的なマルコフ性はもはや成立しません。

7. まとめチェックリスト

1. マルコフ過程： 現在が与えられたとき、将来の挙動が過去に依存しない無記憶な連続時間過程。
2. 遷移強度： \( j \ne i \) に対して \( \mu_{ij} \ge 0 \) であり、\( Q \) の各行の合計が0になるよう \( \mu_{ii} = -\sum_{j \ne i} \mu_{ij} \)。
3. コルモゴロフの前進微分方程式： \( \frac{d}{dt} P(t) = P(t) Q \)。
4. 滞留時間： 平均 \( 1 / (-\mu_{ii}) \) の指数分布に従う。
5. シミュレーション： 指数分布からの滞留時間の抽出と、ジャンプ連鎖からの移動先状態の抽出を交互に行う。