非参数检验简介

欢迎来到统计学 A Level 中最实用的章节之一!到目前为止,你可能已经花了很多时间处理正态分布。虽然正态分布非常好用,但它有严格的“规则”——它假设你的数据是完美对称且呈钟形分布的。

但如果你的数据杂乱、偏态,或者包含极端的异常值时该怎么办呢?这就是非参数检验 (non-parametric tests) 大显身手的时候了。你可以把它们想象成统计学界的“越野登山车”。无论路面多么崎岖,或者数据分布形状多么怪异,它们都能完成任务。在本章中,我们将专注于检验总体的中位数 (median),而不是平均值。

快速回顾:请记住,中位数是指数据按顺序排列后的中间值。它比平均值更具稳定性,因为它不会被极端异常值拉偏。


1. 何时该使用“非参数检验”?

当标准检验(如 z 检验或 t 检验)的假设条件无法满足时,我们就会使用非参数检验。

需要记住的关键差异:

  • 参数检验 (Parametric Tests): 假设数据遵循特定的分布(通常是正态分布)。它们检验的是平均值 (\(\mu\))
  • 非参数检验 (Non-Parametric Tests): 假设特定的分布形状。它们检验的是总体中位数

你知道吗? 非参数检验通常被称为“无分布”检验,因为它们不依赖数据去符合特定的曲线。


2. 符号检验 (Sign Test)(单样本与配对样本)

符号检验是最简单的非参数检验。它简单到甚至不需要看具体的数值——它只关注数值是在特定点的“上方”还是“下方”。

检验单一总体中位数

想像一家鞋厂声称其顾客的脚长中位数为 8 号。你怀疑实际情况更高。要检验这一点,你不需要知道脚具体大了多少;你只需要计算有多少人的脚大于 8 号(标记为 +),有多少人小于 8 号(标记为 -)即可。

检验配对数据

对于配对数据(例如同一组人的“前后”测量值),我们观察两个数值之间的差异。如果“后”的数值较高,我们标记为 (+)。如果较低,我们标记为 (-)。

步骤流程:

  1. 陈述你的零假设 (null hypothesis) \(H_0\):中位数 = 数值。
  2. 将每个数据点减去假设的中位数。
  3. 记录结果的符号 (+ 或 -)。如果数值等于中位数(差异为零),则将其剔除并减少样本量 \(n\)。
  4. 你的检验统计量 \(X\) 是出现次数较少的符号的数量。
  5. 在 \(H_0\) 成立的情况下,正号的数量遵循二项分布:\(X \sim B(n, 0.5)\)。

有效性条件: 符号检验对总体分布没有任何假设。这使得它使用起来非常“安全”,但它的检验力 (power) 比其他检验低,因为它丢弃了大量信息(即差异的具体大小)。

重点总结: 当你不确定数据的分布形状,只想看看是否有整体的“上升”或“下降”趋势时,请使用符号检验。


3. 威尔科克森符号秩检验 (Wilcoxon Signed-Rank Test)

不用担心这个名字听起来很吓人!威尔科克森符号秩检验只是符号检验的“智慧升级版”。符号检验只关心差异的方向(+ 或 -),而威尔科克森检验也关心差异的大小(即差距有多大)。

运作原理(秩排序技巧)

我们不只是看符号,而是先忽略正负号,将差异从最小到最大进行秩排序 (rank)

步骤流程:

  1. 计算每个观察值与假设中位数之间的差异。
  2. 剔除所有为零的差异。
  3. 绝对差异进行排序(忽略符号)。最小的差异排名第 1,次小的排名第 2,以此类推。
  4. 如果出现数值相同 (tied values) 的情况,给予它们排名的平均值(例如,如果第 3 和第 4 名相同,则它们都获得 3.5 的排名)。
  5. 将原始的正负号 (+) 或 (-) 加回对应的排名。
  6. 计算 \(W_+\)(正秩的总和)和 \(W_-\)(负秩的总和)。
  7. 检验统计量 \(T\) 通常是这两个总和中较小的一个。将此值与公式手册中的临界值进行比较。

关键假设: 为了使威尔科克森符号秩检验有效,我们必须假设总体分布是对称的(或者配对数据的差异分布是对称的)。

类比: 如果符号检验是电灯开关(开/关),那么威尔科克森符号秩检验就是调光开关(它能告诉你光线有多亮!)。

重点总结: 威尔科克森符号秩检验比符号检验更有检验力,但它要求数据必须对称。


4. 威尔科克森秩和检验 (Wilcoxon Rank-Sum Test)(两个独立样本)

当你想比较两个不同且独立的群体(例如比较 A 校与 B 校学生的身高)时,会使用此检验。它是独立样本 t 检验的非参数替代方案。它也被称为曼-惠特尼 U 检验 (Mann-Whitney U test)

步骤流程:

  1. 将两个群体合并成一个大列表
  2. 对整个合并列表中从小到大的所有数值进行排名。
  3. 对样本较小的群体进行秩求和(我们称此总和为 \(R_1\))。
  4. 使用手册中提供的检验统计量 \(W\) 公式,来看看两个群体是否有显著差异。

常见错误: 在对合并数据进行排名时,学生常会忘记追踪该数据点属于哪个群体。请使用不同颜色的笔或标签(如 "A" 和 "B")来保持条理!

重点总结: 对于两个不相关的群体,请使用秩和检验来查看一个总体是否普遍具有比另一个更高的数值。


5. 选择正确的检验:快速指南

选择正确的检验是考试的重要部分。使用此清单来帮助你决定:

Q1:样本是配对(相关)的还是独立的?

  • 独立: 使用威尔科克森秩和 (Rank-Sum) 检验。
  • 配对或单一样本: 前往 Q2。

Q2:分布是对称的吗?

  • 是: 使用威尔科克森符号秩 (Signed-Rank) 检验(它的检验力更强)。
  • 否(或我们不知道): 使用符号检验 (Sign Test)(这是最安全的做法)。

快速回顾箱:
- 符号检验: 无假设,使用二项分布 \(B(n, 0.5)\)。
- 威尔科克森符号秩: 需要对称性,使用差异的秩。
- 威尔科克森秩和: 透过对合并数据进行排名来比较两个独立群体。


总结检查清单

要精通本章,请确保你能:

  • 解释为何对于偏态数据,非参数检验优于参数检验。
  • 利用二项分布进行符号检验
  • 正确地对数据进行排名,包括如何处理相同数值 (ties)
  • 清楚陈述每个检验的假设条件(特别是威尔科克森检验所需的对称性)。
  • 使用你的统计表来查找 \(W\) 和 \(T\) 的临界值。

如果刚开始觉得排名过程很慢,别担心!经过一点练习,这将成为你在 Paper 2 考试中取得分数的一种非常机械化且可靠的方法。