非参数检验简介
欢迎来到统计学 A Level 中最实用的章节之一!到目前为止,你可能已经花了很多时间处理正态分布。虽然正态分布非常好用,但它有严格的“规则”——它假设你的数据是完美对称且呈钟形分布的。
但如果你的数据杂乱、偏态,或者包含极端的异常值时该怎么办呢?这就是非参数检验 (non-parametric tests) 大显身手的时候了。你可以把它们想象成统计学界的“越野登山车”。无论路面多么崎岖,或者数据分布形状多么怪异,它们都能完成任务。在本章中,我们将专注于检验总体的中位数 (median),而不是平均值。
快速回顾:请记住,中位数是指数据按顺序排列后的中间值。它比平均值更具稳定性,因为它不会被极端异常值拉偏。
1. 何时该使用“非参数检验”?
当标准检验(如 z 检验或 t 检验)的假设条件无法满足时,我们就会使用非参数检验。
需要记住的关键差异:
- 参数检验 (Parametric Tests): 假设数据遵循特定的分布(通常是正态分布)。它们检验的是平均值 (\(\mu\))。
- 非参数检验 (Non-Parametric Tests): 不假设特定的分布形状。它们检验的是总体中位数。
你知道吗? 非参数检验通常被称为“无分布”检验,因为它们不依赖数据去符合特定的曲线。
2. 符号检验 (Sign Test)(单样本与配对样本)
符号检验是最简单的非参数检验。它简单到甚至不需要看具体的数值——它只关注数值是在特定点的“上方”还是“下方”。
检验单一总体中位数
想像一家鞋厂声称其顾客的脚长中位数为 8 号。你怀疑实际情况更高。要检验这一点,你不需要知道脚具体大了多少;你只需要计算有多少人的脚大于 8 号(标记为 +),有多少人小于 8 号(标记为 -)即可。
检验配对数据
对于配对数据(例如同一组人的“前后”测量值),我们观察两个数值之间的差异。如果“后”的数值较高,我们标记为 (+)。如果较低,我们标记为 (-)。
步骤流程:
- 陈述你的零假设 (null hypothesis) \(H_0\):中位数 = 数值。
- 将每个数据点减去假设的中位数。
- 记录结果的符号 (+ 或 -)。如果数值等于中位数(差异为零),则将其剔除并减少样本量 \(n\)。
- 你的检验统计量 \(X\) 是出现次数较少的符号的数量。
- 在 \(H_0\) 成立的情况下,正号的数量遵循二项分布:\(X \sim B(n, 0.5)\)。
有效性条件: 符号检验对总体分布没有任何假设。这使得它使用起来非常“安全”,但它的检验力 (power) 比其他检验低,因为它丢弃了大量信息(即差异的具体大小)。
重点总结: 当你不确定数据的分布形状,只想看看是否有整体的“上升”或“下降”趋势时,请使用符号检验。
3. 威尔科克森符号秩检验 (Wilcoxon Signed-Rank Test)
不用担心这个名字听起来很吓人!威尔科克森符号秩检验只是符号检验的“智慧升级版”。符号检验只关心差异的方向(+ 或 -),而威尔科克森检验也关心差异的大小(即差距有多大)。
运作原理(秩排序技巧)
我们不只是看符号,而是先忽略正负号,将差异从最小到最大进行秩排序 (rank)。
步骤流程:
- 计算每个观察值与假设中位数之间的差异。
- 剔除所有为零的差异。
- 对绝对差异进行排序(忽略符号)。最小的差异排名第 1,次小的排名第 2,以此类推。
- 如果出现数值相同 (tied values) 的情况,给予它们排名的平均值(例如,如果第 3 和第 4 名相同,则它们都获得 3.5 的排名)。
- 将原始的正负号 (+) 或 (-) 加回对应的排名。
- 计算 \(W_+\)(正秩的总和)和 \(W_-\)(负秩的总和)。
- 检验统计量 \(T\) 通常是这两个总和中较小的一个。将此值与公式手册中的临界值进行比较。
关键假设: 为了使威尔科克森符号秩检验有效,我们必须假设总体分布是对称的(或者配对数据的差异分布是对称的)。
类比: 如果符号检验是电灯开关(开/关),那么威尔科克森符号秩检验就是调光开关(它能告诉你光线有多亮!)。
重点总结: 威尔科克森符号秩检验比符号检验更有检验力,但它要求数据必须对称。
4. 威尔科克森秩和检验 (Wilcoxon Rank-Sum Test)(两个独立样本)
当你想比较两个不同且独立的群体(例如比较 A 校与 B 校学生的身高)时,会使用此检验。它是独立样本 t 检验的非参数替代方案。它也被称为曼-惠特尼 U 检验 (Mann-Whitney U test)。
步骤流程:
- 将两个群体合并成一个大列表。
- 对整个合并列表中从小到大的所有数值进行排名。
- 对样本较小的群体进行秩求和(我们称此总和为 \(R_1\))。
- 使用手册中提供的检验统计量 \(W\) 公式,来看看两个群体是否有显著差异。
常见错误: 在对合并数据进行排名时,学生常会忘记追踪该数据点属于哪个群体。请使用不同颜色的笔或标签(如 "A" 和 "B")来保持条理!
重点总结: 对于两个不相关的群体,请使用秩和检验来查看一个总体是否普遍具有比另一个更高的数值。
5. 选择正确的检验:快速指南
选择正确的检验是考试的重要部分。使用此清单来帮助你决定:
Q1:样本是配对(相关)的还是独立的?
- 独立: 使用威尔科克森秩和 (Rank-Sum) 检验。
- 配对或单一样本: 前往 Q2。
Q2:分布是对称的吗?
- 是: 使用威尔科克森符号秩 (Signed-Rank) 检验(它的检验力更强)。
- 否(或我们不知道): 使用符号检验 (Sign Test)(这是最安全的做法)。
快速回顾箱:
- 符号检验: 无假设,使用二项分布 \(B(n, 0.5)\)。
- 威尔科克森符号秩: 需要对称性,使用差异的秩。
- 威尔科克森秩和: 透过对合并数据进行排名来比较两个独立群体。
总结检查清单
要精通本章,请确保你能:
- 解释为何对于偏态数据,非参数检验优于参数检验。
- 利用二项分布进行符号检验。
- 正确地对数据进行排名,包括如何处理相同数值 (ties)。
- 清楚陈述每个检验的假设条件(特别是威尔科克森检验所需的对称性)。
- 使用你的统计表来查找 \(W\) 和 \(T\) 的临界值。
如果刚开始觉得排名过程很慢,别担心!经过一点练习,这将成为你在 Paper 2 考试中取得分数的一种非常机械化且可靠的方法。