导言:解读数据的意义
欢迎!在精算学的世界里,我们通常扮演着侦探的角色。我们观察数据并自问:“这个结果纯粹是幸运的巧合,还是真的存在某种趋势?”例如,如果一项新的健康计划看似减少了保险索赔,我们该如何证明这不只是随机发生的?
本章重点介绍针对特定情境的假设检验 (Hypothesis Testing)。我们将学习如何检验单一组别、比较两个独立组别、处理“关联”数据(配对数据),以及在不想对数据分布做任何假设时,如何使用一种称为“置换检验 (Permutation Test)”的聪明“洗牌”方法。
注:本章假设你已熟悉基本概念,例如原假设 (\(H_0\)) 和 p 值。如果你需要温故知新,请参阅“假设检验的概念、错误与检验力”章节。
1. 单样本检验:检查单一组别
当你想将来自单一总体的样本与已知数值(“基准值”)进行比较时,就会使用单样本检验。
检验正态分布的均值 (\(\mu\))
如果我们假设数据服从正态分布,通常会想检验其均值。这里有两条主要路径:
- 情况 A:方差 (\(\sigma^2\)) 已知。 我们使用 Z 检验 (Z-test)。检验统计量为:
\(Z = \frac{\bar{X} - \mu_0}{\sigma / \sqrt{n}} \sim N(0, 1)\) - 情况 B:方差 (\(\sigma^2\)) 未知。 这在现实生活中更为常见!我们使用 t 检验 (t-test)。我们会用样本标准差 \(s\) 取代总体 \(\sigma\)。检验统计量为:
\(t = \frac{\bar{X} - \mu_0}{s / \sqrt{n}} \sim t_{n-1}\)
检验正态分布的方差 (\(\sigma^2\))
有时精算师比起均值,更关心风险(波动性)。为了检验方差是否等于特定数值 (\(\sigma^2_0\)),我们使用卡方检验 (Chi-square test):
\(\chi^2 = \frac{(n-1)S^2}{\sigma^2_0} \sim \chi^2_{n-1}\)
检验比例 (二项分布) 与率 (泊松分布)
对于二项分布 (\(p\)) 和泊松分布 (\(\lambda\)) 的数据,如果样本量足够大,我们通常依赖正态近似 (Normal Approximation)。
二项分布: \(Z = \frac{\hat{p} - p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}} \sim N(0, 1)\)
泊松分布: \(Z = \frac{\bar{X} - \lambda_0}{\sqrt{\lambda_0 / n}} \sim N(0, 1)\)
快速回顾:务必检查是否已知方差。如果不知道,且数据呈正态分布,请选用 \(t\)-分布!
2. 双样本检验:比较两个独立组别
精算师经常比较两个不同的组别,例如保单持有人 A 组与 B 组的索赔金额。
比较两个正态分布的均值
为了检验 \(\mu_1 = \mu_2\),我们观察两者之差 \(\bar{X}_1 - \bar{X}_2\)。在 CS1 课程大纲中,我们专注于“基本”情况,即假设两个总体具有相同的未知方差 (\(\sigma^2_1 = \sigma^2_2\))。我们会计算合并样本方差 (pooled sample variance) (\(s_p^2\)):
\(s_p^2 = \frac{(n_1-1)s_1^2 + (n_2-1)s_2^2}{n_1 + n_2 - 2}\)
检验统计量为:
\(t = \frac{(\bar{X}_1 - \bar{X}_2) - 0}{s_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t_{n_1+n_2-2}\)
比较两个正态分布的方差
若要观察一组是否比另一组波动更大,我们使用 F 检验 (F-test)。我们将较大的样本方差除以较小的样本方差:
\(F = \frac{s_1^2}{s_2^2} \sim F_{n_1-1, n_2-1}\)
双样本二项分布与泊松分布
在比较两个比例 (\(p_1\) 与 \(p_2\)) 或两个泊松率 (\(\lambda_1\) 与 \(\lambda_2\)) 时,大样本情况下我们同样使用正态近似。在原假设(即两组相同)的前提下,我们通常会使用“合并”估计值来计算标准误差。
关键要点:对于双样本检验,组别必须是独立的。如果两组中包含的是同一群人,你则需要参考下一节!
3. 配对数据:前后对比
如果你测量了 10 个人在接受治疗前的血压,然后测量同一批 10 个人在治疗后的血压,这就不是独立样本,而是配对数据 (paired data)。
窍门:不要把它们当作两个样本处理。相反,计算每一对观察值的差值:
\(D_i = X_i - Y_i\)
现在,你只需对这些差值 (\(D\)) 进行单样本 t 检验。你的原假设通常是 \(H_0: \mu_D = 0\)。
\(t = \frac{\bar{D} - 0}{s_D / \sqrt{n}} \sim t_{n-1}\)
常见错误:对配对数据使用双样本检验。这是典型的考试陷阱!如果数据点是“匹配”的,或者代表同一对象在不同时间的状态,请务必使用配对法。
4. 置换检验:非参数方法
上述所有检验都假设数据服从特定分布(如正态分布)。但如果数据分布奇特,或者样本量太小以至于无法应用中心极限定理怎么办?我们可以使用置换检验 (Permutation Test)。
概念:“重新洗牌”
想象你有 A 和 B 两组数据,并观察到它们的均值存在差异。置换检验会问:“如果组别标签(A 或 B)其实并不重要,那么仅仅通过随机重新分配标签,观察到这么大差异的可能性有多高?”
步骤流程:
- 计算观察到的检验统计量(例如 A 组和 B 组均值之差)。
- 将两组的所有数据合并成一个大的“数据池”。
- 置换 (Permute):随机打乱数据,并将其重新分成两个与原始大小相同的新组别。
- 计算这个洗牌版本数据的均值之差。
- 重复这种“洗牌”数千次,以建立差值的分布。
- p 值即是洗牌后的差值中,与原始观察差值一样极端(或更极端)所占的比例。
你知道吗? 置换检验非常强大,因为它不对数据的“形状”做任何假设。在 Paper B 考试中,通常会使用 R 语言来执行此检验。
考试总结清单
- 确认样本数量:是单一组别与数值比较、两个独立组别,还是配对数据?
- 检查分布:如果是正态分布且方差未知,请使用 \(t\)-检验。
- 样本量大吗? 对于二项分布和泊松分布,请使用正态近似 Limiting Distribution。
- 组别是否相关联? 如果是,计算差值 (\(D_i\)) 并使用配对 \(t\)-检验。
- 没有指定分布? 考虑使用置换法(重新洗牌标签)。
温馨提示:在 Paper A 中,你可能需要查表手算。在 Paper B 中,你会使用 t.test() 等 R 函数。确保你能准确解读这两者的输出结果!