Probability generating functions

概率生成函數 (PGFs)：學習筆記 (9231 Further Probability & Statistics)

你好！這一章將為你介紹進階統計學中最優雅的工具之一：概率生成函數 (Probability Generating Function, PGF)。別擔心，聽起來雖然複雜，但它本質上是一種巧妙的方法，將離散隨機變量所有的概率信息「打包」成一個函數。一旦打包完成，我們就可以運用微積分（微分！）的強大工具，輕鬆地求出均值與方差。是不是很酷？

本單元對於 Paper 4 至關重要，且內容完全集中於離散隨機變量。

---

1. 理解 PGF 的概念與定義

1.1 什麼是 PGF？

PGF 通常記作 \(G_X(t)\)，是一個代數函數。它利用虛擬變量 \(t\) 的冪次來儲存離散隨機變量 \(X\) 的概率分佈。

你可以把它想像成一個文件櫃：索引編號（\(t\) 的指數）告訴你正在查看哪一個結果，而文件內容（\(t\) 的係數）則告訴你該結果發生的概率。

1.2 正式定義

對於一個離散隨機變量 \(X\)，其取值為 \(x_i\)，且概率為 \(P(X=x_i)\)，則 PGF 定義為 \(t^X\) 的期望值：

定義： $$G_X(t) = E(t^X) = \sum_{x} P(X=x) t^x$$

由於所有概率之和必須為 1，因此當我們令 \(t=1\) 時，結果必定為 1：

$$G_X(1) = \sum P(X=x) (1)^x = \sum P(X=x) = 1$$

記憶小撇步：隨時檢查 G(1) 是否等於 1。這是驗證你的 PGF 公式是否正確的絕佳方法！

1.3 提取概率

PGF 的美妙之處在於，如果你已知函數 \(G_X(t)\)，只需觀察對應 \(t\) 冪次的係數，就能找到任何特定結果的概率。

• \(P(X=0)\) 是 \(t^0\) 的係數。
• \(P(X=1)\) 是 \(t^1\) 的係數。
• \(P(X=k)\) 是 \(t^k\) 的係數。

如果 PGF 是一個簡單的多項式，你可以直接讀出概率；如果它是一個較複雜的函數（例如涉及 \(e\) 或分數），你可能需要使用麥克勞林級數展開 (Maclaurin series expansion)（這是 Further Pure Mathematics 的概念）來求出係數。

$$P(X=k) = \frac{G_X^{(k)}(0)}{k!}$$ （即第 \(k\) 階導數在 \(t=0\) 時的值，除以 \(k!\)）

2. 構建常見分佈的 PGF

你必須熟練掌握並能構建常見離散分佈的 PGF。

2.1 離散均勻分佈 (Discrete Uniform Distribution, D(n))

如果 \(X\) 是擲公平骰子的結果（\(X=1, 2, 3, 4, 5, 6\)），則對於所有結果，\(P(X=x) = 1/6\)。

$$G_X(t) = \sum_{x=1}^{6} P(X=x) t^x = \frac{1}{6}t^1 + \frac{1}{6}t^2 + ... + \frac{1}{6}t^6$$ $$G_X(t) = \frac{1}{n} \sum_{x=1}^{n} t^x \quad \text{或一般形式} \quad G_X(t) = \frac{t(1-t^n)}{n(1-t)}$$ （註：這是一個等比級數求和！）

2.2 二項分佈 (Binomial Distribution, \(X \sim B(n, p)\))

使用定義 \(G_X(t) = \sum P(X=x) t^x\)。回想 \(P(X=x) = \binom{n}{x} p^x q^{n-x}\)，其中 \(q=1-p\)。

$$G_X(t) = \sum_{x=0}^{n} \left[ \binom{n}{x} q^{n-x} p^x \right] t^x$$ $$G_X(t) = \sum_{x=0}^{n} \binom{n}{x} q^{n-x} (pt)^x$$

根據二項式定理 (Binomial Theorem)，該和可以簡化為：

$$G_X(t) = (q + pt)^n$$

2.3 幾何分佈 (Geometric Distribution, \(X \sim Geo(p)\))

幾何分佈（指在第一次成功前的失敗次數，或直到第一次成功所需的試驗次數，取決於你的基礎 A Level 課程定義——我們在此使用 \(P(X=x) = p q^{x-1}\) 對於 \(x=1, 2, 3...\) 的定義）

$$G_X(t) = \sum_{x=1}^{\infty} P(X=x) t^x = \sum_{x=1}^{\infty} p q^{x-1} t^x$$

提取 \(pt\)：

$$G_X(t) = pt \sum_{x=1}^{\infty} q^{x-1} t^{x-1} = pt \sum_{k=0}^{\infty} (qt)^k$$

由於這是一個公比為 \(qt\) 的無窮等比級數，假設 \(|qt| < 1\)，其和為 \(\frac{1}{1-qt}\)。

$$G_X(t) = \frac{pt}{1 - qt}$$

2.4 卜瓦松分佈 (Poisson Distribution, \(X \sim Po(\lambda)\))

回想 \(P(X=x) = \frac{e^{-\lambda} \lambda^x}{x!}\)，其中 \(x=0, 1, 2...\)

$$G_X(t) = \sum_{x=0}^{\infty} \left[ \frac{e^{-\lambda} \lambda^x}{x!} \right] t^x$$

提取 \(e^{-\lambda}\) 並重排：

$$G_X(t) = e^{-\lambda} \sum_{x=0}^{\infty} \frac{(\lambda t)^x}{x!}$$

括號內的和即為 \(e^{\lambda t}\) 的麥克勞林級數展開式。

$$G_X(t) = e^{-\lambda} e^{\lambda t} = e^{\lambda t - \lambda}$$

$$G_X(t) = e^{\lambda(t-1)}$$

3. 使用 PGF 求均值與方差

這才是重頭戲！我們利用微分（微積分）來計算均值與方差，這使得原本複雜的期望值計算變得非常簡單。

關鍵性質在於將 \(G_X(t)\) 的一階導數和二階導數在 \(t=1\) 處求值。

3.1 均值（期望值）

均值 \(E(X)\) 可以通過求 PGF 的一階導數並代入 \(t=1\) 得到：

$$E(X) = G'_X(1)$$

你知道嗎？這是因為當你對 PGF 關於 \(t\) 微分時，\(t^{x-1}\) 的係數變成了 \(x P(X=x)\)。隨後令 \(t=1\)，你便得到 \(\sum x P(X=x)\)，這正是均值 \(E(X)\) 的定義。

3.2 方差 (\(Var(X)\))

方差計算稍微複雜一些，需要二階導數。MF19 公式冊中提供的公式為：

$$Var(X) = G''_X(1) + G'_X(1) - \{G'_X(1)\}^2$$

這個公式看起來有點嚇人，但請注意： $$E(X) = G'_X(1)$$ 且 $$E[X(X-1)] = G''_X(1)$$ 所以，方差公式其實就是熟悉的恆等式 \(Var(X) = E(X^2) - [E(X)]^2\) 使用 PGF 的重寫版本。

分步計算流程：

1. 求一階導數 \(G'_X(t)\)。
2. 代入 \(t=1\) 計算均值 \(E(X) = G'_X(1)\)。
3. 求二階導數 \(G''_X(t)\)。（記得若有必要需使用乘法定則！）
4. 計算 \(G''_X(1)\)。
5. 將 \(G''_X(1)\) 和 \(G'_X(1)\) 代入方差公式：\(Var(X) = G''_X(1) + E(X) - [E(X)]^2\)。

常見錯誤：請務必在微分「之後」才代入 \(t=1\)，千萬不要在微分前代入！如果你先計算了 \(G'_X(1)\) 再對它微分，結果只會得到零。

範例：求 \(X \sim Po(\lambda)\) 的均值與方差

已知 \(G_X(t) = e^{\lambda(t-1)}\)。

1. 一階導數： $$G'_X(t) = \lambda e^{\lambda(t-1)}$$

2. 均值： 代入 \(t=1\)。 $$E(X) = G'_X(1) = \lambda e^{\lambda(1-1)} = \lambda e^0 = \lambda$$ （符合卜瓦松分佈的已知結果！）

3. 二階導數： 再對 \(G'_X(t)\) 微分一次。 $$G''_X(t) = \frac{d}{dt} \left[ \lambda e^{\lambda(t-1)} \right] = \lambda (\lambda e^{\lambda(t-1)}) = \lambda^2 e^{\lambda(t-1)}$$

4. 計算 \(G''_X(1)\)： $$G''_X(1) = \lambda^2 e^{\lambda(1-1)} = \lambda^2$$

5. 方差： $$Var(X) = G''_X(1) + G'_X(1) - \{G'_X(1)\}^2$$ $$Var(X) = \lambda^2 + \lambda - (\lambda)^2$$ $$Var(X) = \lambda$$ （同樣符合卜瓦松分佈的已知結果！證明了 PGF 方法非常有效。）

4. 獨立隨機變量之和

這可以說是 PGF 最強大的應用——它讓我們能輕鬆地合併獨立隨機變量。

4.1 乘法法則

如果 \(X\) 與 \(Y\) 是兩個獨立的離散隨機變量，且 \(Z = X + Y\)，那麼和 \(Z\) 的 PGF 等於個別 PGF 的乘積：

$$G_Z(t) = G_X(t) \times G_Y(t)$$

這個結果對於任意數量的獨立隨機變量之和皆成立。

類比：如果 PGF 是「概率食譜」，那麼將它們相乘就像是將兩份食譜混合在一起，從而得到合併後結果的食譜。

4.2 應用：常見分佈的和

這一性質對於證明同類分佈變量之和仍服從該類分佈（僅參數更新）特別有用。

範例 1：獨立二項分佈變量之和
設 \(X_1 \sim B(n_1, p)\) 與 \(X_2 \sim B(n_2, p)\)，且 \(Z = X_1 + X_2\)。（註：它們必須具有相同的概率 \(p\)）。

• \(G_{X_1}(t) = (q + pt)^{n_1}\)
• \(G_{X_2}(t) = (q + pt)^{n_2}\)

和的 PGF 為： $$G_Z(t) = G_{X_1}(t) G_{X_2}(t) = (q + pt)^{n_1} (q + pt)^{n_2} = (q + pt)^{n_1 + n_2}$$ 由於 \(G_Z(t)\) 具有二項分佈 PGF 的形式，我們得出 \(Z \sim B(n_1 + n_2, p)\)。

範例 2：獨立卜瓦松分佈變量之和
設 \(X_1 \sim Po(\lambda_1)\) 與 \(X_2 \sim Po(\lambda_2)\)，且 \(Z = X_1 + X_2\)。

• \(G_{X_1}(t) = e^{\lambda_1(t-1)}\)
• \(G_{X_2}(t) = e^{\lambda_2(t-1)}\)

和的 PGF 為： $$G_Z(t) = G_{X_1}(t) G_{X_2}(t) = e^{\lambda_1(t-1)} e^{\lambda_2(t-1)}$$ $$G_Z(t) = e^{(\lambda_1 + \lambda_2)(t-1)}$$ 由於 \(G_Z(t)\) 具有卜瓦松分佈 PGF 的形式，我們得出 \(Z \sim Po(\lambda_1 + \lambda_2)\)。