欢迎来到“适合度检验”(Goodness of Fit)的世界!
你有没有想过一枚硬币是否“真的”公平,或者一场足球赛中的入球数是否真的遵循某种可预测的规律?在本章中,我们将学习如何使用适合度检验(Goodness of Fit test)来验证真实世界的数据是否符合特定的数学模型。
如果刚开始觉得有点抽象,别担心!这就像试穿一条新牛仔裤:“适合度检验”只不过是告诉我们“牛仔裤”(我们的数学模型)与“人”(我们的实际数据)有多合身。如果不合身,我们就需要换一个模型!
1. 核心概念:卡方(\(\chi^2\))检验
为了衡量“合身程度”,我们使用卡方(\(\chi^2\))检验。这项检验会将我们实际观察到的数值(观察频数,\(O\))与假设模型正确时我们预期会看到的数值(期望频数,\(E\))进行比较。
检验统计量公式
我们使用以下公式来计算检验统计量:
\[ \chi^2 = \sum \frac{(O - E)^2}{E} \]
公式拆解:
1. \(O - E\): 计算实际发生数与预期数之间的差异。
2. \((O - E)^2\): 将差异平方(这样可以确保所有数值变为正数,避免正负抵消!)。
3. \(/ E\): 除以期望值,将差异进行标准化(scale)。
4. \(\sum\): 将所有类别的结果加总。
快速回顾:
如果总 \(\chi^2\) 值很小,表示模型非常合适(牛仔裤很合身!)。
如果总 \(\chi^2\) 值很大,表示模型不合适(牛仔裤太紧或太松了!)。
2. “黄金法则”:数据合并(Pooling)
要让卡方检验有效,你必须记住一条非常重要的规则:每一个期望频数(\(E\))都必须至少为 5。
为什么? 因为我们的公式需要除以 \(E\)。如果 \(E\) 非常小(例如 0.5),即使差异并不显著,也会让 \(\chi^2\) 值变得极大。这会导致检验失效!
如果 \(E < 5\) 怎么办?
如果期望频数小于 5,你必须将该类别与邻近的类别进行合并(pool)。
例如:如果你正在观察入球数(0, 1, 2, 3, 4+),而“4+ 球”的期望值只有 2,你就应该将“3 球”和“4+ 球”合并为一个“3 球或以上”的类别。
重点提示: 在开始计算前,务必先检查你的 \(E\) 值。如果小于 5,请合并它们!
3. 自由度(Degrees of Freedom, \(v\))
在统计学中,“自由度”(以希腊字母 \(v\) 表示,读作 'nu')告诉我们数据有多少“活动空间”。为了从公式手册中找到临界值(critical value),你必须正确计算出这个数值。
适合度检验的一般公式为:
\(v = n - 1 - k\)
其中:
- \(n\): 类别数量(合并后的数量)。
- \(1\): 我们总是减去 1,因为总频数是固定的。
- \(k\): 我们从样本数据中估计出来以计算期望频数的参数数量。
我应该减去多少参数(\(k\))?
这是学生最容易出错的地方,以下是一份实用指南:
- 均匀/指定分布(Uniform/Specified Distribution): \(k = 0\)(通常无需估计参数)。
- 二项分布(Binomial, \(B(n, p)\)): \(k = 1\)(如果我们必须从数据中计算 \(p\))。
- 泊松分布(Poisson, \(Po(\lambda)\)): \(k = 1\)(如果我们必须从数据中计算平均值 \(\lambda\))。
- 指数分布(Exponential, \(Exp(\lambda)\)): \(k = 1\)(如果我们必须从数据中计算 \(\lambda\))。
- 正态分布(Normal, \(N(\mu, \sigma^2)\)): \(k = 2\)(如果我们必须从数据中计算平均值 \(\mu\) 和方差 \(\sigma^2\))。
你知道吗? 如果题目直接给了你参数(例如:“检验数据是否符合平均值为 3 的泊松分布”),那么 \(k = 0\),因为你不需要自己进行估计!
4. 逐步执行检验
遵循以下步骤,确保不会失分:
- 陈述你的假设(Hypotheses):
\(H_0\):该[分布]与数据吻合。
\(H_1\):该[分布]与数据不吻合。 - 计算期望频数(\(E\)): 将总频数乘以该分布下每个类别发生的机率。
- 检查是否需要合并: 如果任何 \(E < 5\),合并相关类别。
- 计算检验统计量: 使用 \(\sum \frac{(O - E)^2}{E}\)。
- 决定自由度: \(v = n - 1 - k\)(记得 \(n\) 是合并后的组数)。
- 寻找临界值: 使用 \(v\) 和显著性水平(通常为 5%)在 \(\chi^2\) 表中查询。
- 做出决定:
- 如果你计算出的 \(\chi^2\) 大于临界值,拒绝 \(H_0\)。
- 如果你计算出的 \(\chi^2\) 小于临界值,不拒绝 \(H_0\)。 - 情境结论: “有足够/不足够的证据显示该[分布]与数据吻合……”
5. 常见陷阱
- 忘记合并: 这是最常见的错误。务必先检查 \(E\) 值!
- 分母使用 \(O\): 公式除以的是 \(E\),不是 \(O\)。记住:“\(O\) 减去 \(E\) 的平方,除以 \(E\)”。
- \(n\) 值错误: 计算自由度时,使用了合并前的类别数量,而非合并后的数量。
- 叶氏校正(Yates' Correction): 你可能会在旧教材或其他课程中看到,但在 Pearson Edexcel 9ST0 课程中,不需要使用叶氏校正,请忽略它!
6. 参数(\(k\))摘要表
如果你不确定该使用什么 \(k\),请参考此“快速回顾”框:
快速回顾:估计参数
1. 我是否从原始数据计算了平均值?(泊松/指数/二项/正态) \( \rightarrow \) 减 1。
2. 我是否从原始数据计算了标准差?(仅限正态分布) \( \rightarrow \) 再减 1。
3. 如果题目已经直接给我数值 \( \rightarrow \) 减 0。
例如:你正在检验 100 个观测值是否符合泊松分布。你计算出样本平均值为 2.4,并用它来计算期望值。你有 6 个类别,且不需要合并。
你的自由度将会是:\(v = 6 - 1 - 1 = 4\)。
最后鼓励: “适合度检验”是一个结构非常明确的题目。一旦你掌握了标准程序,并记住合并数据的“5 之法则”,你会发现这些题目是 Paper 2 中拿分的好机会!