Probability generating functions (pgf)

機率生成函數 (PGF)：FS1.4 學習筆記

哈囉，未來的數學家！歡迎來到統計學中最精巧且強大的工具之一：機率生成函數 (Probability Generating Function, PGF)。

別擔心，名字聽起來雖然深奧，但 PGF 本質上就是一個簡潔的數學「代碼」或「資料檔」。它將離散隨機變數機率分佈的*所有*資訊，全都濃縮在一個整齊的多項式（或冪級數）之中。

本章將帶你解開這個代碼，讓你無需進行複雜的求和或積分，就能輕鬆求出機率、期望值（平均數）和變異數。讓我們馬上開始吧！

---

1. 定義機率生成函數 (\(G_X(t)\))

什麼是 PGF？

對於離散隨機變數 \(X\)，其機率生成函數 \(G_X(t)\) 是一個包含虛擬變數 \(t\) 的期望值。

你可以把 \(t\) 想像成一個佔位符，我們利用它的次方來「儲存」對應每個可能結果的機率。

正式定義

若離散隨機變數 \(X\) 可取值 \(x_1, x_2, x_3, \dots\)，且對應機率為 \(p_1, p_2, p_3, \dots\)，則其 PGF 定義為：

\(G_X(t) = E(t^X) = \sum_{\text{all } x} t^x P(X=x)\)

簡單來說：你取出隨機變數 \(X\) 所有可能的取值 \(x\)，將 \(t\) 的該次方 (\(t^x\)) 乘以該值的機率 (\(P(X=x)\))，然後將它們全部加起來。

範例：擲骰子

設 \(X\) 為投擲一顆公平六面骰子的結果。\(X\) 的值可以是 1, 2, 3, 4, 5 或 6，每個值的機率皆為 \(1/6\)。
其 PGF 為：
\(G_X(t) = t^1 P(X=1) + t^2 P(X=2) + \dots + t^6 P(X=6)\)
\(G_X(t) = \frac{1}{6}t + \frac{1}{6}t^2 + \frac{1}{6}t^3 + \frac{1}{6}t^4 + \frac{1}{6}t^5 + \frac{1}{6}t^6\)
\(G_X(t) = \frac{1}{6}(t + t^2 + t^3 + t^4 + t^5 + t^6)\)

關鍵點：機率 \(P(X=x)\) 正是函數 \(G_X(t)\) 中 \(t^x\) 項的係數。

---

2. 特性：從 PGF 找出機率

PGF 最直接且好用的特性之一，就是能把原始機率找出來。

特性 1：提取機率

如果你已經有了 PGF \(G_X(t)\)，隨機變數 \(X\) 取特定值 \(x\) 的機率可以透過以下方式找到：

\(P(X = x) = G_X(t) \text{ 中 } t^x \text{ 的係數}\)

這就是為什麼 PGF 如此強大——它能「生成」機率！

快速檢查特性：\(G_X(1) = 1\)

如果我們在 PGF 公式中代入 \(t=1\)：
\(G_X(1) = \sum 1^x P(X=x) = \sum P(X=x)\)
由於所有機率的總和必須為 1，因此 \(G_X(1)\) 必須永遠等於 1。這是一個檢查你所推導出的 PGF 是否正確的好方法。

避免常見錯誤：請記得 \(G_X(t)\) 是一個關於 \(t\) 的函數。不要把 \(t\) 當作我們要解出的未知數，而要把它視為一個符號佔位符。

---

3. 特性：生成期望值與變異數（動差）

PGF 最大的用處在於利用簡單的微分來計算期望值（平均數 \(\mu\)）與變異數 (\(\sigma^2\))。

求期望值 (\(\mu\))

期望值（或稱期望值 \(E(X)\)）可透過 PGF 的一階導數在 \(t=1\) 時的值求得。

步驟 1：求出一階導數 \(G'_X(t)\)。
步驟 2：將 \(t=1\) 代入導數中。

期望值：\(\mu = E(X) = G'_X(1)\)

求變異數 (\(\sigma^2\))

變異數需要用到一階與二階導數，並在 \(t=1\) 時求值。

步驟 1：求出二階導數 \(G''_X(t)\)。
步驟 2：計算 \(G''_X(1)\)。
步驟 3：應用變異數公式（課程大綱中會提供）：

變異數：\(\sigma^2 = G''_X(1) + \mu - \mu^2\)

等等，為什麼要用這個公式呢？
你知道嗎？ \(G''_X(1)\) 的值實際上給我們的是 \(E(X^2) - E(X)\)，也就是 \(E(X^2) - \mu\)。如果你重新排列變異數的標準公式 \(\sigma^2 = E(X^2) - \mu^2\)，你會得到：
\(\sigma^2 = [G''_X(1) + \mu] - \mu^2\)。
這就是為什麼針對 PGF 必須使用這個特定的變異數公式。

關鍵點：PGF 將複雜的求和運算轉變為簡單的微分步驟，以便計算平均數與變異數。

---

4. 常見分佈的 PGF 推導

如同課程大綱所要求的，你必須懂得如何推導（或能即刻背出）關鍵分佈的 PGF。

4.1 伯努利分佈 (Bernoulli Distribution, Ber(p))

伯努利變數 \(X\) 可取 \(x=0\)（失敗）或 \(x=1\)（成功）。
\(P(X=0) = q\) (其中 \(q = 1-p\))
\(P(X=1) = p\)

\(G_X(t) = \sum t^x P(X=x)\)
\(G_X(t) = t^0 P(X=0) + t^1 P(X=1)\)
\(G_X(t) = 1 \cdot q + t \cdot p\)

伯努利 PGF：\(G_X(t) = q + pt\)

4.2 二項分佈 (Binomial Distribution, B(n, p))

二項變數 \(X\) 是 \(n\) 次獨立伯努利試驗的總和。
\(P(X=x) = \binom{n}{x} p^x q^{n-x}\)，對於 \(x=0, 1, \dots, n\)。

\(G_X(t) = \sum_{x=0}^{n} t^x P(X=x)\)
\(G_X(t) = \sum_{x=0}^{n} t^x \binom{n}{x} p^x q^{n-x}\)
\(G_X(t) = \sum_{x=0}^{n} \binom{n}{x} (pt)^x q^{n-x}\)

看出這個結構了嗎？這正是 \((A+B)^n\) 的二項式展開式，其中 \(A=q\) 且 \(B=pt\)。

二項分佈 PGF：\(G_X(t) = (q + pt)^n\)

4.3 幾何分佈 (Geometric Distribution, Geo(p))

幾何變數 \(X\) 是獲得第一次成功所需的試驗次數 (\(x=1, 2, 3, \dots\))。
\(P(X=x) = q^{x-1} p\)

\(G_X(t) = \sum_{x=1}^{\infty} t^x P(X=x)\)
\(G_X(t) = \sum_{x=1}^{\infty} t^x q^{x-1} p\)
\(G_X(t) = p \sum_{x=1}^{\infty} t^x q^{x-1}\)

展開級數：
\(G_X(t) = p (t^1 q^0 + t^2 q^1 + t^3 q^2 + \dots)\)
\(G_X(t) = pt (1 + qt + (qt)^2 + (qt)^3 + \dots)\)

括號內的表達式是一個無窮幾何級數，首項 \(a=1\)，公比 \(r=qt\)。
此級數的和為 \(\frac{a}{1-r} = \frac{1}{1 - qt}\)。

幾何分佈 PGF：\(G_X(t) = \frac{pt}{1 - qt}\)

4.4 均勻分佈 (離散)

設 \(X\) 為離散均勻變數，取值 \(1, 2, \dots, N\)，每個值的機率皆為 \(1/N\)。

\(G_X(t) = \sum_{x=1}^{N} t^x P(X=x) = \sum_{x=1}^{N} t^x \frac{1}{N}\)
\(G_X(t) = \frac{1}{N} (t^1 + t^2 + t^3 + \dots + t^N)\)

括號內的表達式是一個幾何級數，首項 \(a=t\)，公比 \(r=t\)，共 \(N\) 項。其和為 \(\frac{a(1-r^N)}{1-r}\)。

均勻分佈 PGF：\(G_X(t) = \frac{t(1 - t^N)}{N(1 - t)}\)

---

5. 獨立隨機變數的和

這大概是使用 PGF 最有力的原因：它們簡化了將獨立隨機變數相加的過程。

特性 2：和的 PGF

如果 \(X\) 和 \(Y\) 是獨立的離散隨機變數，且 \(W = X + Y\)，則和 \(W\) 的 PGF 僅是它們各自 PGF 的乘積。

\(G_{X+Y}(t) = G_X(t) G_Y(t)\)

類比：想像你有兩個不同過程的獨立資料檔（PGF）。如果這兩個過程是獨立的，你只需將這些檔案相乘，就能將它們的資訊合併起來！

應用範例：二項分佈之和

假設 \(X_1 \sim B(n_1, p)\) 與 \(X_2 \sim B(n_2, p)\) 是獨立的，分別代表兩組不同試驗的成功次數（且機率 \(p\) 相同）。
令 \(W = X_1 + X_2\)。
\(G_{X_1}(t) = (q + pt)^{n_1}\)
\(G_{X_2}(t) = (q + pt)^{n_2}\)

\(G_W(t) = G_{X_1}(t) G_{X_2}(t) = (q + pt)^{n_1} \cdot (q + pt)^{n_2}\)
\(G_W(t) = (q + pt)^{n_1 + n_2}\)

由於結果的 PGF 具有二項分佈 PGF 的形式，我們立刻得知和 \(W\) 服從二項分佈：
\(W \sim B(n_1 + n_2, p)\)。

這個乘法特性使得組合分佈變得異常簡單，而若使用傳統機率方法（卷積）計算和的機率分佈則可能會極其複雜。

關鍵點：當將獨立隨機變數相加時，請將它們的 PGF 相乘。這通常有助於識別出該總和的分佈形式。