歡迎來到馬可夫鏈（Markov Chains）的世界！

你好！今天，我們將深入探討精算師工具箱中最優雅且最實用的工具之一：馬可夫鏈。無論你是要計算駕駛在「無賠款折扣（No Claims Discount）」等級之間的轉變機率，還是預測受保人是否會保持健康，馬可夫鏈都是你的首選模型。

如果「隨機過程（stochastic processes）」聽起來有點嚇人，別擔心。其核心概念其實很簡單：馬可夫鏈只是一種觀察事物隨時間變化的方法，關鍵在於未來只取決於我們現在所處的狀態。讓我們一步步拆解它吧！

1. 什麼是馬可夫鏈？

馬可夫鏈是一種隨機過程（即隨時間索引的隨機變數集合），它在離散狀態空間（discrete state space）中的不同「狀態」之間移動。

「黃金法則」：馬可夫性質（Markov Property）

最重要的一點是記住馬可夫性質。它指出，該過程的未來行為僅取決於其當前狀態，而不取決於此前發生過的一系列事件。換句話說，該過程沒有記憶。

\( P(X_{n+1} = j | X_n = i, X_{n-1} = i_{n-1}, ..., X_0 = i_0) = P(X_{n+1} = j | X_n = i) \)

類比：池塘裡的青蛙
想像一隻青蛙在池塘的荷葉間跳躍。如果青蛙現在位於荷葉 A 上，它下次跳到荷葉 B 的機率僅取決於它目前在 A 上這個事實。無論這隻青蛙是從荷葉 C 跳過來的，還是從荷葉 D 跳過來的，過去的歷史都不會影響下一次的跳躍！

快速回顧：
- 狀態空間 (S)：所有可能「位置」或「狀況」的集合（例如：{健康, 生病, 死亡}）。
- 離散時間：我們在特定的時間點（時間 0, 1, 2...）觀察該過程。

2. 轉移機率與轉移機率矩陣（TPM）

我們如何從一個狀態移動到另一個狀態？這就需要用到轉移機率。

一步轉移機率（One-Step Transition Probabilities）

在確切的一個時間步長內，從狀態 \( i \) 移動到狀態 \( j \) 的機率寫作：
\( p_{ij} = P(X_{n+1} = j | X_n = i) \)

轉移機率矩陣（Transition Probability Matrix, TPM）

當我們有多個狀態時，會將這些機率整理成一個方陣，通常稱為 \( P \)。每一行（row）代表你出發的狀態，每一列（column）代表你前往的狀態。

TPM 的重要規則：
1. 每個數值必須介於 0 到 1 之間（因為它們是機率！）。
2. 每一行的總和必須等於 1。 這是因為該過程必須要移動到某個地方（即使是留在原地，也算是一種狀態變換）。

你知道嗎？
在 IFoA 考試中，常見的錯誤是將列（column）加總而不是將行（row）加總。請務必再次檢查：行（Row）代表「從哪裡來」，列（Column）代表「要去哪裡」，行總和 = 1。

3. 時間齊次性（Time-Homogeneity）

在 CS2 中，我們經常處理時間齊次（Time-Homogeneous）的馬可夫鏈。這僅意味著規則不會隨時間而改變。從狀態 A 移動到狀態 B 的機率，今天和下週都是一樣的。

例子： 拋硬幣是時間齊次的。投出正面的機率始終為 0.5。
非例子： 人類死亡率並非時間齊次的。隨著年齡增長，你在下一年從「活著」狀態「移動」到「死亡」狀態的機率會增加。

4. 進階：多步轉移

如果我們想知道經過兩步或 n 步後位於狀態 \( j \) 的機率呢？

查普曼-柯爾莫哥洛夫方程（Chapman-Kolmogorov Equations）

這些方程告訴我們，要從 \( i \) 在 \( m+n \) 步後到達 \( j \)，我們必須在第 \( m \) 步時經過某個中間狀態 \( k \)。

\( p_{ij}^{(m+n)} = \sum_{k \in S} p_{ik}^{(m)} p_{kj}^{(n)} \)

「魔法」技巧：
要找到 n 步轉移矩陣，只需將一步轉移矩陣乘以 n 次方即可！
\( P^{(n)} = P^n \)

所以，如果你想要 2 步轉移機率，計算 \( P \times P \)。如果你想要 3 步，就計算 \( P \times P \times P \)。

5. 狀態分類

並非所有狀態都是平等的。我們對它們進行分類，以了解鏈的「長期」行為。

  • 不可約（Irreducible）： 如果你可以從任何狀態最終到達任何其他狀態，則該鏈是不可約的。沒有「陷阱」或孤立的島嶼。
  • 週期性（Periodicity）： 如果過程只能在 \( d \) 的倍數步長內返回該狀態，則該狀態具有週期 \( d \)。如果 \( d=1 \)，則該狀態是非週期性（aperiodic）的。（想像一個時鐘：它每 12 小時才回到「12」點）。
  • 常返與暫態（Recurrent vs. Transient）：
    - 常返（Recurrent）： 如果你從這裡出發，你一定（機率為 1）最終會回到這裡。
    - 暫態（Transient）： 有可能離開後就永遠不會回來。

記憶輔助：
將吸收狀態（Absorbing State）（例如壽險模型中的「死亡」）想像成一個黑洞。一旦進入，你就永遠無法離開。這是常返狀態的一種特殊形式。

6. 平穩分佈（Stationary Distributions, \( \pi \)）

如果我們讓馬可夫鏈運行很長一段時間，它是否會穩定在一個固定的模式？這種「穩態」被稱為平穩分佈，通常用向量 \( \pi \) 表示。

為了求出 \( \pi \)，我們需要解以下方程組：
1. \( \pi P = \pi \)（分佈在經過一步後保持不變）
2. \( \sum \pi_i = 1 \)（總機率必須等於 1）

步驟：解 \( \pi \)
1. 建立矩陣方程 \( \pi P = \pi \)。這會給你一個線性方程組。
2. 其中一個方程會是冗餘的（無用的），所以可以去掉其中一個。
3. 用「歸一化條件」取代被捨棄的方程：\( \pi_1 + \pi_2 + ... + \pi_n = 1 \)。
4. 解出未知數。

關鍵收穫：
如果一個鏈是不可約且非週期性的，那麼無論你從哪裡開始，分佈最終都會收斂到這個平穩分佈 \( \pi \)！

7. 常見陷阱（請避開！）

1. 忘記「無記憶」規則： 如果考題提到機率會根據你在某個狀態停留的時間長短而改變，那這可能就不是簡單的馬可夫鏈了！（你可能需要建立更多的狀態來使其符合馬可夫特性）。
2. 矩陣乘法順序： 記住，通常是 \( \text{行向量} \times \text{矩陣} \)。在矩陣代數中，順序非常重要！
3. 省略「總和為 1」的檢查： 務必確保你最終計算出的 \( \pi \) 值加起來正好等於 1。

如果剛開始覺得很難，別擔心！ 數學看起來往往比實際更嚇人。一旦你習慣了使用 TPM 在狀態之間「跳躍」，你就會發現馬可夫鏈其實是一種規劃未來的合乎邏輯的方法。

總結回顧

馬可夫性質： 只有當下才重要。
TPM： 行總和為 1。\( P_{ij} \) 代表「從 \( i \) 到 \( j \)」。
n-步轉移： 使用矩陣冪次（\( P^n \)）。
平穩分佈： 解 \( \pi P = \pi \) 且 \( \sum \pi = 1 \)。
狀態： 可以是不可約、週期性、常返或暫態的。