Probability generating functions (pgf)

概率生成函数 (PGF)：FS1.4 学习笔记

哈喽，未来的数学家！欢迎来到统计学中最精巧且强大的工具之一：概率生成函数 (Probability Generating Function, PGF)。

别担心，名字听起来虽然深奥，但 PGF 本质上就是一个简洁的数学“代码”或“数据文件”。它将离散随机变量概率分布的所有信息，全都浓缩在一个整齐的多项式（或幂级数）之中。

本章将带你解开这个代码，让你无需进行复杂的求和或积分，就能轻松求出概率、期望值（均值）和方差。让我们马上开始吧！

---

1. 定义概率生成函数 (\(G_X(t)\))

什么是 PGF？

对于离散随机变量 \(X\)，其概率生成函数 \(G_X(t)\) 是一个包含哑变量 \(t\) 的期望值。

你可以把 \(t\) 想象成一个占位符，我们利用它的幂指数来“存储”对应每个可能结果的概率。

正式定义

若离散随机变量 \(X\) 可取值 \(x_1, x_2, x_3, \dots\)，且对应概率为 \(p_1, p_2, p_3, \dots\)，则其 PGF 定义为：

\(G_X(t) = E(t^X) = \sum_{\text{all } x} t^x P(X=x)\)

简单来说：你取出随机变量 \(X\) 所有可能的取值 \(x\)，将 \(t\) 的该次幂 (\(t^x\)) 乘以该值的概率 (\(P(X=x)\))，然后将它们全部加起来。

示例：掷骰子

设 \(X\) 为投掷一枚公平六面骰子的结果。\(X\) 的值可以是 1, 2, 3, 4, 5 或 6，每个值的概率皆为 \(1/6\)。
其 PGF 为：
\(G_X(t) = t^1 P(X=1) + t^2 P(X=2) + \dots + t^6 P(X=6)\)
\(G_X(t) = \frac{1}{6}t + \frac{1}{6}t^2 + \frac{1}{6}t^3 + \frac{1}{6}t^4 + \frac{1}{6}t^5 + \frac{1}{6}t^6\)
\(G_X(t) = \frac{1}{6}(t + t^2 + t^3 + t^4 + t^5 + t^6)\)

重点提示：概率 \(P(X=x)\) 正是函数 \(G_X(t)\) 中 \(t^x\) 项的系数。

---

2. 性质：从 PGF 找出概率

PGF 最直接且好用的性质之一，就是能把原始概率找出来。

性质 1：提取概率

如果你已经有了 PGF \(G_X(t)\)，随机变量 \(X\) 取特定值 \(x\) 的概率可以通过以下方式找到：

\(P(X = x) = G_X(t) \text{ 中 } t^x \text{ 的系数}\)

这就是为什么 PGF 如此强大——它能“生成”概率！

快速检查性质：\(G_X(1) = 1\)

如果我们在 PGF 公式中代入 \(t=1\)：
\(G_X(1) = \sum 1^x P(X=x) = \sum P(X=x)\)
由于所有概率的总和必须为 1，因此 \(G_X(1)\) 必须始终等于 1。这是一个检查你所推导出的 PGF 是否正确的好方法。

避免常见错误：请记得 \(G_X(t)\) 是一个关于 \(t\) 的函数。不要把 \(t\) 当作我们要解出的未知数，而要把它视为一个符号占位符。

---

3. 性质：生成期望值与方差（矩）

PGF 最大的用处在于利用简单的求导来计算期望值（均值 \(\mu\)）与方差 (\(\sigma^2\))。

求期望值 (\(\mu\))

期望值（或称期望值 \(E(X)\)）可通过 PGF 的一阶导数在 \(t=1\) 时的值求得。

步骤 1：求出一阶导数 \(G'_X(t)\)。
步骤 2：将 \(t=1\) 代入导数中。

期望值：\(\mu = E(X) = G'_X(1)\)

求方差 (\(\sigma^2\))

方差需要用到一阶与二阶导数，并在 \(t=1\) 时求值。

步骤 1：求出二阶导数 \(G''_X(t)\)。
步骤 2：计算 \(G''_X(1)\)。
步骤 3：应用方差公式（课程大纲中会提供）：

方差：\(\sigma^2 = G''_X(1) + \mu - \mu^2\)

等等，为什么要用这个公式呢？
你知道吗？ \(G''_X(1)\) 的值实际上给我们的是 \(E(X(X-1)) = E(X^2) - E(X)\)，也就是 \(E(X^2) - \mu\)。如果你重新排列方差的标准公式 \(\sigma^2 = E(X^2) - \mu^2\)，你会得到：
\(\sigma^2 = [G''_X(1) + \mu] - \mu^2\)。
这就是为什么针对 PGF 必须使用这个特定的方差公式 \(\sigma^2 = G''_X(1) + \mu - \mu^2\)。

重点提示：PGF 将复杂的求和运算转变为简单的求导步骤，以便计算均值与方差。

---

4. 常见分布的 PGF 推导

如同课程大纲所要求的，你必须懂得如何推导（或能即刻背出）关键分布的 PGF。

4.1 伯努利分布 (Bernoulli Distribution, Ber(p))

伯努利变量 \(X\) 可取 \(x=0\)（失败）或 \(x=1\)（成功）。
\(P(X=0) = q\) (其中 \(q = 1-p\))
\(P(X=1) = p\)

\(G_X(t) = \sum t^x P(X=x)\)
\(G_X(t) = t^0 P(X=0) + t^1 P(X=1)\)
\(G_X(t) = 1 \cdot q + t \cdot p\)

伯努利 PGF：\(G_X(t) = q + pt\)

4.2 二项分布 (Binomial Distribution, B(n, p))

二项变量 \(X\) 是 \(n\) 次独立伯努利试验的总和。
\(P(X=x) = \binom{n}{x} p^x q^{n-x}\)，对于 \(x=0, 1, \dots, n\)。

\(G_X(t) = \sum_{x=0}^{n} t^x P(X=x)\)
\(G_X(t) = \sum_{x=0}^{n} t^x \binom{n}{x} p^x q^{n-x}\)
\(G_X(t) = \sum_{x=0}^{n} \binom{n}{x} (pt)^x q^{n-x}\)

看出这个结构了吗？这正是 \((A+B)^n\) 的二项式展开式，其中 \(A=q\) 且 \(B=pt\)。

二项分布 PGF：\(G_X(t) = (q + pt)^n\)

4.3 泊松分布 (Poisson Distribution, Po(\(\lambda\)))

泊松变量 \(X\) 用于模拟在固定区间内发生的独立事件次数，其平均发生率为 \(\lambda\)。
\(P(X=x) = \frac{e^{-\lambda} \lambda^x}{x!}\)，对于 \(x=0, 1, 2, \dots\)。

\(G_X(t) = \sum_{x=0}^{\infty} t^x P(X=x)\)
\(G_X(t) = \sum_{x=0}^{\infty} t^x \frac{e^{-\lambda} \lambda^x}{x!}\)
\(G_X(t) = e^{-\lambda} \sum_{x=0}^{\infty} \frac{(\lambda t)^x}{x!}\)

利用标准麦克劳林级数展开式 \(e^y = \sum_{x=0}^{\infty} \frac{y^x}{x!}\)，其中 \(y = \lambda t\)：
\(G_X(t) = e^{-\lambda} e^{\lambda t} = e^{\lambda t - \lambda}\)

泊松分布 PGF：\(G_X(t) = e^{\lambda(t-1)}\)

4.4 几何分布 (Geometric Distribution, Geo(p))

几何变量 \(X\) 是获得第一次成功所需的试验次数 (\(x=1, 2, 3, \dots\))。
\(P(X=x) = q^{x-1} p\)

\(G_X(t) = \sum_{x=1}^{\infty} t^x P(X=x)\)
\(G_X(t) = \sum_{x=1}^{\infty} t^x q^{x-1} p\)
\(G_X(t) = p \sum_{x=1}^{\infty} t^x q^{x-1}\)

展开级数：
\(G_X(t) = p (t^1 q^0 + t^2 q^1 + t^3 q^2 + \dots)\)
\(G_X(t) = pt (1 + qt + (qt)^2 + (qt)^3 + \dots)\)

括号内的表达式是一个无穷几何级数，首项 \(a=1\)，公比 \(r=qt\)。
此级数的和为 \(\frac{a}{1-r} = \frac{1}{1 - qt}\)。

几何分布 PGF：\(G_X(t) = \frac{pt}{1 - qt}\)

4.5 均匀分布 (离散)

设 \(X\) 为离散均匀变量，取值 \(1, 2, \dots, N\)，每个值的概率皆为 \(1/N\)。

\(G_X(t) = \sum_{x=1}^{N} t^x P(X=x) = \sum_{x=1}^{N} t^x \frac{1}{N}\)
\(G_X(t) = \frac{1}{N} (t^1 + t^2 + t^3 + \dots + t^N)\)

括号内的表达式是一个几何级数，首项 \(a=t\)，公比 \(r=t\)，共 \(N\) 项。其和为 \(\frac{a(1-r^N)}{1-r}\)。

均匀分布 PGF：\(G_X(t) = \frac{t(1 - t^N)}{N(1 - t)}\)

---

5. 独立随机变量的和

这大概是使用 PGF 最有力的原因：它们简化了将独立随机变量相加的过程。

性质 2：和的 PGF

如果 \(X\) 和 \(Y\) 是独立的离散随机变量，且 \(W = X + Y\)，则和 \(W\) 的 PGF 仅是它们各自 PGF 的乘积。

\(G_{X+Y}(t) = G_X(t) G_Y(t)\)

类比：想象你有两个不同过程的独立数据文件（PGF）。如果这两个过程是独立的，你只需将这些文件相乘，就能将它们的信息合并起来！

应用示例：二项分布之和

假设 \(X_1 \sim B(n_1, p)\) 与 \(X_2 \sim B(n_2, p)\) 是独立的，分别代表两组不同试验的成功次数（且概率 \(p\) 相同）。
令 \(W = X_1 + X_2\)。
\(G_{X_1}(t) = (q + pt)^{n_1}\)
\(G_{X_2}(t) = (q + pt)^{n_2}\)

\(G_W(t) = G_{X_1}(t) G_{X_2}(t) = (q + pt)^{n_1} \cdot (q + pt)^{n_2}\)
\(G_W(t) = (q + pt)^{n_1 + n_2}\)

由于结果的 PGF 具有二项分布 PGF 的形式，我们立刻得知和 \(W\) 服从二项分布：
\(W \sim B(n_1 + n_2, p)\)。

这个乘法特性使得组合分布变得异常简单，而若使用传统概率方法（卷积）计算和的概率分布则可能会极其复杂。

重点提示：当将独立随机变量相加时，请将它们的 PGF 相乘。这通常有助于识别出该总和的分布形式。