欢迎来到假设检验与拟合优度检验 (Hypothesis Testing & Goodness of Fit)!
在 CS1 之前的章节中,我们学会了如何估算数值,例如平均索赔金额或发生车祸的概率。但在现实世界中,精算师不只是想估算数字,更重要的是要作出决策。这款新药是否比旧药更有效?索赔次数是否真的符合泊松分布 (Poisson distribution)?男性与女性的驾驶风险是否存在差异?
假设检验正是用数据作出这些决策的“正式规则手册”。别担心,它起初看起来可能有点抽象,但一旦你掌握了其中的逻辑,就像在法庭上当侦探一样有趣!
1. 假设检验的逻辑
你可以把假设检验想象成一场法庭审讯。在审讯中,被告在“被证明有罪前是无罪的”。在统计学中,我们这个“无罪”状态称为零假设 (Null Hypothesis)。
两个对立的假设
1. 零假设 (\(H_0\)): 这是“平淡”的状态。它假设什么都没有改变,或者没有任何效应。除非我们有强有力的证据,否则我们都假设它是真的。
2. 对立假设 (\(H_1\)): 这是你试图证明的部分。它是“令人兴奋”的说法(例如:“新的保险保费实际上更低”)。
5 个标准步骤
为了通过 CS1 考试,请务必每次都遵循这些步骤:
1. 清晰地陈述 \(H_0\) 和 \(H_1\)。
2. 选择一个显著性水平 (Significance Level, \(\alpha\))——通常为 5% 或 1%。
3. 计算检验统计量 (Test Statistic)(即你从数据中获得的证据)。
4. 找出 P 值 (P-value) 或临界值 (Critical Value)。
5. 作出决策:“拒绝 \(H_0\)”或“不拒绝 \(H_0\)”。
重点总结
我们永远不会说“接受”零假设。我们只能因为证据确凿而拒绝它,或者因为证据不足而无法拒绝它。这就像陪审团宣判“无罪”——这并不代表被告绝对清白,只代表没有足够的证据将其定罪。
2. 误差:当检验出错时
由于我们使用的是样本(而不是整个人口),我们可能会犯错。误差主要分两类:
第一类错误 (Type I Error, \(\alpha\)): 即“误报”。你在 \(H_0\) 其实正确时却拒绝了它。(想象一下:将清白的人判罪)。
第二类错误 (Type II Error, \(\beta\)): 即“错失机会”。你在 \(H_0\) 其实错误时却无法拒绝它。(想象一下:让罪犯逍遥法外)。
记忆小撇步:RT 助记法
Type I 是 Rejecting a True \(H_0\)(拒绝一个正确的 \(H_0\))。只要记住 RT 就行了(就像拒绝了“真实真理”/ Real Truth)。
3. 平均值 (\(\mu\)) 的检验
这是 CS1 考试中最常见的检验。我们想要了解人口平均值是否等于特定数值。
情境 A:方差 (\(\sigma^2\)) 已知
我们使用 Z 检验 (Z-test)。检验统计量为:
\(Z = \frac{\bar{X} - \mu_0}{\sigma / \sqrt{n}}\)
其中 \(\bar{X}\) 是样本平均值,\(n\) 是样本数。
情境 B:方差未知
这更符合现实。由于我们不知道 \(\sigma\),我们会使用样本标准差 (\(s\)) 以及具有 \(n-1\) 个自由度的 t 分布 (t-distribution)。
\(t = \frac{\bar{X} - \mu_0}{s / \sqrt{n}}\)
快速复习:单尾 vs. 双尾
- 如果你想检查平均值是否单纯“不同”(\(H_1: \mu \neq \mu_0\)),请使用双尾检验。
- 如果你想检查它是否“大于”或“小于”(\(H_1: \mu > \mu_0\) 或 \(H_1: \mu < \mu_0\)),请使用单尾检验。
4. 比较两组群体
身为精算师,你可能需要比较两个群体(例如:A 组与 B 组的索赔情况)。
双样本 t 检验 (独立)
如果我们假设两组方差相同,我们会计算合并样本方差 (Pooled Sample Variance, \(s_p^2\)):
\(s_p^2 = \frac{(n_1-1)s_1^2 + (n_2-1)s_2^2}{n_1 + n_2 - 2}\)
接着,检验统计量为:
\(t = \frac{\bar{X}_1 - \bar{X}_2}{s_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}\)
配对 t 检验 (依赖)
当数据是成对出现时使用(例如:10 个人节食前和后的体重)。我们只需计算每一对的差值 (\(d\)),然后对这些差值进行单样本 t 检验。
5. 卡方 (\(\chi^2\)) 拟合优度检验
此检验用于检查你的数据是否“符合”理论分布(如二项分布、泊松分布或正态分布)。它本质上是在问:“我观察到的与我预期的之间的差异,纯粹是运气不好,还是我的模型错了?”
公式
\(\chi^2 = \sum \frac{(O_i - E_i)^2}{E_i}\)
其中:
\(O_i\) = 观测频率 (Observed frequency,实际数据)。
\(E_i\) = 预期频率 (Expected frequency,使用你正在测试的分布计算得出)。
拟合优度检验的重要规则
1. 最小频率: 每个预期频率 (\(E_i\)) 应至少为 5。如果低于 5,你必须将相邻的单元格合并 (group)。
2. 自由度 (Degrees of Freedom, \(df\)): 这点至关重要!
\(df = (\text{组数}) - 1 - (\text{估计参数的数量})\)
例如:如果你从数据中估计了泊松分布的平均值 (\(\lambda\)),你的 \(df\) 就需要额外减去 1。
你知道吗?
卡方检验永远是单尾(右尾)的。为什么?因为公式将差异平方了,所以结果永远为正。非常大的 \(\chi^2\) 值意味着现实与你的模型之间的“距离”太远了——所以你要拒绝该模型!
6. 列联表 (独立性检验)
我们用它来查看两个因素是否相关。例如:“汽车保险理赔类型是否与驾驶者的年龄有关?”
我们把数据排列成表格。任何单元格的预期频率 (Expected Frequency) 为:
\(E = \frac{\text{列总计} \times \text{行总计}}{\text{总计}}\)
表格的自由度:
\(df = (r - 1) \times (c - 1)\)
其中 \(r\) 是列数,\(c\) 是行数。
7. 总结与常见陷阱
常见错误 1: 在 \(\chi^2\) 检验中,当 \(E_i < 5\) 时忘记合并单元格。这是经典的考试陷阱!
常见错误 2: 使用了错误的自由度。请务必再次检查你是否从数据中估计了任何参数(如 \(\mu\) 或 \(\sigma\))。
常见错误 3: 搞混 Z 检验和 T 检验。只要记住:已知方差?选 Z。未知方差?选 T。
最后的鼓励
别担心公式看起来很吓人。在考试中,这些步骤非常重复。如果你能掌握 5 个标准步骤并正确算出自由度,你离通过 CS1 就已经不远了!请持续练习历年真题——这是了解这些检验如何应用于精算情境的关键。