欢迎来到马可夫链（Markov Chains）的世界！

你好！今天，我们将深入探讨精算师工具箱中最优雅且最实用的工具之一：马可夫链。无论你是要计算驾驶在“无赔款折扣（No Claims Discount）”等级之间的转换概率，还是预测受保人是否会保持健康，马可夫链都是你的首选模型。

如果“随机过程（stochastic processes）”听起来有点吓人，别担心。其核心概念其实很简单：马可夫链只是一种观察事物随时间变化的方法，关键在于未来只取决于我们现在所处的状态。让我们一步步拆解它吧！

1. 什么是马可夫链？

马可夫链是一种随机过程（即随时间索引的随机变量集合），它在离散状态空间（discrete state space）中的不同“状态”之间移动。

“黄金法则”：马可夫性质（Markov Property）

最重要的一点是记住马可夫性质。它指出，该过程的未来行为仅取决于其当前状态，而不取决于此前发生过的一系列事件。换句话说，该过程没有记忆。

\( P(X_{n+1} = j | X_n = i, X_{n-1} = i_{n-1}, ..., X_0 = i_0) = P(X_{n+1} = j | X_n = i) \)

类比：池塘里的青蛙
想象一只青蛙在池塘的荷叶间跳跃。如果青蛙现在位于荷叶 A 上，它下次跳到荷叶 B 的概率仅取决于它目前在 A 上这个事实。无论这只青蛙是从荷叶 C 跳过来的，还是从荷叶 D 跳过来的，过去的历史都不会影响下一次的跳跃！

快速回顾：
- 状态空间 (S)：所有可能“位置”或“状况”的集合（例如：{健康, 生病, 死亡}）。
- 离散时间：我们在特定的时间点（时间 0, 1, 2...）观察该过程。

2. 转移概率与转移概率矩阵（TPM）

我们如何从一个状态移动到另一个状态？这就需要用到转移概率。

一步转移概率（One-Step Transition Probabilities）

在确切的一个时间步长内，从状态 \( i \) 移动到状态 \( j \) 的概率写作：
\( p_{ij} = P(X_{n+1} = j | X_n = i) \)

转移概率矩阵（Transition Probability Matrix, TPM）

当我们有多个状态时，会将这些概率整理成一个方阵，通常称为 \( P \)。每一行（row）代表你出发的状态，每一列（column）代表你前往的状态。

TPM 的重要规则：
1. 每个数值必须介于 0 到 1 之间（因为它们是概率！）。
2. 每一行的总和必须等于 1。 这是因为该过程必须要移动到某个地方（即使是留在原地，也算是一种状态变换）。

你知道吗？
在 IFoA 考试中，常见的错误是将列（column）加总而不是将行（row）加总。请务必再次检查：行（Row）代表“从哪里来”，列（Column）代表“要去哪里”，行总和 = 1。

3. 时间齐次性（Time-Homogeneity）

在 CS2 中，我们经常处理时间齐次（Time-Homogeneous）的马可夫链。这仅意味着规则不会随时间而改变。从状态 A 移动到状态 B 的概率，今天和下周都是一样的。

例子： 抛硬币是时间齐次的。投出正面的概率始终为 0.5。
非例子： 人类死亡率并非时间齐次的。随着年龄增长，你在下一年从“活着”状态“移动”到“死亡”状态的概率会增加。

4. 进阶：多步转移

如果我们想知道经过两步或 n 步后位于状态 \( j \) 的概率呢？

查普曼-柯尔莫哥洛夫方程（Chapman-Kolmogorov Equations）

这些方程告诉我们，要从 \( i \) 在 \( m+n \) 步后到达 \( j \)，我们必须在第 \( m \) 步时经过某个中间状态 \( k \)。

\( p_{ij}^{(m+n)} = \sum_{k \in S} p_{ik}^{(m)} p_{kj}^{(n)} \)

“魔法”技巧：
要找到 n 步转移矩阵，只需将一步转移矩阵乘以 n 次方即可！
\( P^{(n)} = P^n \)

所以，如果你想要 2 步转移概率，计算 \( P \times P \)。如果你想要 3 步，就计算 \( P \times P \times P \)。

5. 状态分类

并非所有状态都是平等的。我们对它们进行分类，以了解链的“长期”行为。

  • 不可约（Irreducible）： 如果你可以从任何状态最终到达任何其他状态，则该链是不可约的。没有“陷阱”或孤立的岛屿。
  • 周期性（Periodicity）： 如果过程只能在 \( d \) 的倍数步长内返回该状态，则该状态具有周期 \( d \)。如果 \( d=1 \)，则该状态是非周期性（aperiodic）的。（想象一个时钟：它每 12 小时才回到“12”点）。
  • 常返与暂态（Recurrent vs. Transient）：
    - 常返（Recurrent）： 如果你从这里出发，你一定（概率为 1）最终会回到这里。
    - 暂态（Transient）： 有可能离开后就永远不会回来。

记忆辅助：
将吸收状态（Absorbing State）（例如寿险模型中的“死亡”）想象成一个黑洞。一旦进入，你就永远无法离开。这是常返状态的一种特殊形式。

6. 平稳分布（Stationary Distributions, \( \pi \)）

如果我们让马可夫链运行很长一段时间，它是否会稳定在一个固定的模式？这种“稳态”被称为平稳分布，通常用向量 \( \pi \) 表示。

为了求出 \( \pi \)，我们需要解以下方程组：
1. \( \pi P = \pi \)（分布在经过一步后保持不变）
2. \( \sum \pi_i = 1 \)（总概率必须等于 1）

步骤：解 \( \pi \)
1. 建立矩阵方程 \( \pi P = \pi \)。这会给你一个线性方程组。
2. 其中一个方程会是冗余的（无用的），所以可以去掉其中一个。
3. 用“归一化条件”取代被舍弃的方程：\( \pi_1 + \pi_2 + ... + \pi_n = 1 \)。
4. 解出未知数。

关键收获：
如果一个链是不可约且非周期性的，那么无论你从哪里开始，分布最终都会收敛到这个平稳分布 \( \pi \)！

7. 常见陷阱（请避开！）

1. 忘记“无记忆”规则： 如果考题提到概率会根据你在某个状态停留的时间长短而改变，那这可能就不是简单的马可夫链了！（你可能需要建立更多的状态来使其符合马可夫特性）。
2. 矩阵乘法顺序： 记住，通常是 \( \text{行向量} \times \text{矩阵} \)。在矩阵代数中，顺序非常重要！
3. 省略“总和为 1”的检查： 务必确保你最终计算出的 \( \pi \) 值加起来正好等于 1。

如果刚开始觉得很难，别担心！ 数学看起来往往比实际更吓人。一旦你习惯了使用 TPM 在状态之间“跳跃”，你就会发现马可夫链其实是一种规划未来的合乎逻辑的方法。

总结回顾

马可夫性质： 只有当下才重要。
TPM： 行总和为 1。\( P_{ij} \) 代表“从 \( i \) 到 \( j \)”。
n-步转移： 使用矩阵幂次（\( P^n \)）。
平稳分布： 解 \( \pi P = \pi \) 且 \( \sum \pi = 1 \)。
状态： 可以是不可约、周期性、常返或暂态的。