欢迎来到多变量矩的世界!

你好!你已经学会了如何求单一变量的平均值(期望值)和方差。现在,我们即将踏入多变量的世界。你可以把它想象成从单纯观察一个人的身高,进阶到研究其身高体重之间的关系。

在这一章,我们会探讨“矩”(moments)——这只是一个统计学上的高级词汇,用来描述平均值与离散程度——也就是当两个或多个变量产生交互作用时的情况。别担心,尽管看到双重积分或求和符号可能会让你觉得有点“复杂”,但只要掌握其中的规律,你会发现它们其实非常容易处理!

1. 联合期望值 (Joint Expected Values)

如果我们有两个随机变量 \(X\) 和 \(Y\),我们有时需要求出一个同时包含两者的函数的平均值,例如 \(E[X + Y]\) 或 \(E[XY]\)。这就被称为联合期望值

要计算任何函数 \(g(X, Y)\) 的期望值,你只需要将该函数乘以联合概率密度(或质量)函数,然后对所有范围进行加总或积分即可。

对于离散变量:

\( E[g(X, Y)] = \sum_{x} \sum_{y} g(x, y) \cdot p(x, y) \)

对于连续变量:

\( E[g(X, Y)] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x, y) \cdot f(x, y) \,dy \,dx \)

类比:想象地板上有一个方格网。每个方格上都写着一个数值,同时每个方格也代表一定的“权重”(概率)。要算出整个房间的总体平均值,你只需将每个方格的数值乘以其对应的权重,然后全部加总起来。

快速复习:请记住期望值具有线性性质!这意味着 \(E[aX + bY + c] = aE[X] + bE[Y] + c\)。即使 \(X\) 和 \(Y\) 彼此相关,这个特性依然成立!

2. 协方差 (Covariance):衡量变量间的关系

协方差衡量的是两个变量如何共同变化。如果当 \(X\) 增加时 \(Y\) 也增加,则协方差为正;如果当 \(X\) 增加时 \(Y\) 减少,则协方差为负。

在 Exam P 中你最常使用的公式是:

\( \mathbf{Cov(X, Y) = E[XY] - E[X]E[Y]} \)

重要提示:如果 \(X\) 和 \(Y\) 是独立的,那么 \(E[XY] = E[X]E[Y]\),这意味着它们的协方差为 0。但要小心!协方差为 0 不一定代表它们是独立的(不过在 Exam P 的考试范围内,这通常暗示没有线性关系)。

相关系数 (\(\rho\))

协方差可以是任何数值,这使得它难以进行比较。相关系数将协方差缩放至 -1 到 1 之间。

\( \rho_{XY} = \frac{Cov(X, Y)}{\sigma_X \sigma_Y} \)

其中 \(\sigma_X\) 和 \(\sigma_Y\) 分别是 \(X\) 和 \(Y\) 的标准差。

关键点:协方差告诉你关系的方向;相关系数则同时告诉你关系的方向与强度。

3. 条件矩 (Conditional Moments)

有时我们会获得关于其中一个变量的已知信息,并要求求出另一个变量的平均值或方差。这些就是条件矩

条件期望值 (Conditional Expectation)

给定 \(Y = y\) 的情况下,\(X\) 的条件平均值为:

\( E[X | Y = y] = \int x \cdot f_{X|Y}(x|y) \,dx \)

本质上,你将 \(Y\) 视为常数,并使用条件概率密度函数来计算平均值。

条件方差 (Conditional Variance)

这衡量的是在已知 \(Y\) 的情况下,\(X\) 的离散程度:

\( Var(X | Y = y) = E[X^2 | Y = y] - (E[X | Y = y])^2 \)

你知道吗? \(E[X|Y]\) 本身其实就是一个随机变量,因为它的取值取决于 \(Y\) 最后呈现的结果!这就引出了本章最重要的两个定理。

4. 重点大将:迭代期望值与全方差公式

这两个公式在 Exam P 中是“黄金法则”。你几乎肯定会在考试中用到它们。

迭代期望值定律 (Law of Iterated Expectations / Adam's Law)

此定律指出,“平均值的平均值”等于总体的平均值。

\( \mathbf{E[X] = E[E[X|Y]]} \)

例子:如果你想找出全校学生的平均身高,你可以先算出每个班级的平均身高 (\(E[X|Y]\)),然后再对这些平均值取平均。

全方差定律 (Law of Total Variance / Eve's Law)

这个定律将总方差拆解为两部分:组内方差(within groups)和组间方差(between groups)。

\( \mathbf{Var(X) = E[Var(X|Y)] + Var(E[X|Y])} \)

记忆法:许多学生将其记为 "EV + VE" (Expected Value of Variance + Variance of Expected Value,即方差的期望值 + 期望值的方差)。

如果刚开始觉得这很难理解,别担心! 只要记住第一部分 (\(E[Var]\)) 处理的是条件组内的“噪声”,而第二部分 (\(Var(E)\)) 处理的是各组“平均值”本身的变化幅度。

5. 避免常见错误

1. 混淆边际概率与条件概率:务必检查你应该使用 \(f(x)\)(边际)还是 \(f(x|y)\)(条件)。如果题目说“给定 \(Y=2\)...”,你必须使用条件密度函数!

2. 忘记将平均值平方:在使用方差公式 \(Var(X) = E[X^2] - (E[X])^2\) 时,学生经常忘记将后一项平方。这同样适用于条件方差!

3. 假设 \(E[XY] = E[X]E[Y] \):只有当变量独立时这才成立。如果联合密度函数 \(f(x,y)\) 无法分解为 \(f(x)f(y)\),你必须进行积分 \(xy \cdot f(x,y)\)。

6. 总结清单

在进行练习题之前,请确保你能:

  • 使用双重积分或双重求和计算 \(E[XY]\)
  • 求出 \(Cov(X, Y)\),并理解对于独立变量,该值为 0。
  • 计算相关系数,并确认其值落在 -1 到 1 之间。
  • 应用迭代期望值定律来简化复杂问题。
  • 使用 Eve's Law (EV + VE) 来找出变量的总方差。

最后的小撇步:当你看到题目中一个变量的行为取决于另一个变量时(例如:“索赔数量 \(N\) 取决于风险类别 \(\Theta\)”),这是一个非常明显的提示,暗示你要使用全期望值或全方差定律!