欢迎来到无参数检验(Non-Parametric Tests)的世界!
在你之前的统计学课程中,大概花了不少时间讨论正态分布(Normal Distribution)。但如果你的数据看起来不像一个整齐、对称的钟形曲线,该怎么办呢?又或者,如果你的样本量非常小,以至于你根本不知道它背后的分布长什么样子,又该如何处理?
这就是无参数检验大显身手的时候了!这些方法通常被称为“无分布”检验,可以说是统计学中的“瑞士军刀”。无论你的数据是正态分布、偏态分布,还是形状奇怪,它们都能派上用场。在本章中,我们将学习如何针对总体的中位数(median)而非平均值来进行假设检验。
1. 大概念:参数检验 vs. 无参数检验
参数检验(Parametric tests)(如 z 检验或 t 检验)假设你的数据遵循特定的模式(即“参数”),通常是正态分布。
无参数检验(Non-parametric tests)则没有这些假设。它们灵活得多!
类比: 想象你在买一套定制西装。参数检验就像这套西装,是为特定体型制作的——如果你不符合那个身形,穿起来就很糟。而无参数检验就像是一件“均码(one-size-fits-all)”的斗篷。它可能不如定制西装精确,但每个人都能穿!
重点总结:
当我们无法假设总体是正态分布,或者处理的是次序数据(ordinal data,即可以排序但无法精确测量的数据)时,我们就会使用无参数检验。
2. 单样本符号检验(The Single-Sample Sign Test)
符号检验(Sign Test)是最简单的无参数检验。它忽略了数据的实际数值,只看数值是高于 (+) 还是低于 (-) 假设的中位数。
何时使用:
当你想检验单一个体的中位数(\(m\))时。
步骤:
1. 设定假设:
\(H_0: m = m_0\)(中位数为某个特定值)
\(H_1: m \neq m_0\)(或 \(>\) 或 \(<\))
2. 计算符号: 对每个数据点,减去假设的中位数。
- 如果结果为正,标记为 +。
- 如果结果为负,标记为 -。
- 如果结果恰好为零,舍弃该数据并缩减样本量 \(n\)。
3. 求检验统计量(\(X\)): 这是不常见符号出现的次数。例如,如果你有 8 个“+”和 2 个“-”,那么 \(X = 2\)。
4. 分布: 在 \(H_0\) 成立下,“+”号的数量遵循二项分布(Binomial Distribution):\(X \sim B(n, 0.5)\)。
5. 求 p-value: 使用二项分布公式或查表,计算得到像你的检验统计量一样极端结果的机率。
快速回顾: 为什么是 0.5?因为如果中位数真的是 \(m_0\),那么数值高于它和低于它的机率应该各为 50%!
3. 单样本 Wilcoxon 符号秩检验(Single-Sample Wilcoxon Signed-Rank Test)
符号检验虽然简单,但有点“浪费”,因为它丢弃了差异的实际大小。Wilcoxon 符号秩检验更强大,因为它同时考虑了与中位数差异的方向和大小。
重要要求: 此检验假设总体分布是对称的(即使它不是正态分布)。
操作方法:
1. 计算每个数值与 \(m_0\) 的差值 \(d_i = x_i - m_0\)。
2. 将绝对差值 \(|d_i|\) 从小到大排序(Rank)(1 为最小值)。忽略零值。
3. 将原本的符号(+ 或 -)分配回各自的秩(rank)。
4. 计算:
- \(W_+\) = 正符号的秩之和。
- \(W_-\) = 负符号的秩之和。
5. 你的检验统计量 \(T\) 是 \(W_+\) 和 \(W_-\) 中的较小值。
如果这看起来很复杂,别担心! 记住:你只是在计算每个点距离中位数有多“远”,然后检查这些“远距离”的点是否主要分布在某一侧,还是均匀分布。
常见错误:
如果两个差值相同(平手),给它们这些秩的平均值。例如,如果第 3 和第 4 个差值相等,它们都获得秩 3.5。
4. Wilcoxon 秩和检验(双样本 Wilcoxon Rank-Sum Test)
此检验用于判断两个独立样本是否来自具有相同中位数的总体。它是双样本 t 检验的无参数版本。
步骤:
1. 将两个样本合并成一个大小为 \(n = n_1 + n_2\) 的大列表。
2. 将所有数值从 1 到 \(n\) 进行排序。
3. 求出第一个样本的秩之和,记为 \(R_1\)。
4. 使用 Wilcoxon 秩和检验表,根据 \(n_1\) 和 \(n_2\) 找到临界值。
你知道吗? 这个检验有时被称为 Mann-Whitney U 检验。虽然 \(U\) 的计算方式略有不同,但背后的排序逻辑是完全一样的!
5. 大样本近似(Large Sample Approximations)
当样本量 \(n\) 变大时(通常 \(n > 20\)),这些检验统计量的分布会变得非常接近正态分布。这让我们的生活轻松不少,因为我们可以使用 \(z\)-score 了!
针对 Wilcoxon 符号秩检验(单样本):
平均值 \(E(W) = \frac{n(n+1)}{4}\)
方差 \(Var(W) = \frac{n(n+1)(2n+1)}{24}\)
针对 Wilcoxon 秩和检验(双样本):
平均值 \(E(R_1) = \frac{n_1(n_1 + n_2 + 1)}{2}\)
方差 \(Var(R_1) = \frac{n_1 n_2 (n_1 + n_2 + 1)}{12}\)
大样本步骤:
1. 使用上述公式计算平均值和方差。
2. 计算 \(z\)-score:\(z = \frac{R_1 - E(R_1)}{\sqrt{Var(R_1)}}\)。
3. 与标准正态分布的临界值进行比较(例如,双尾 5% 检验为 1.96)。
专业提示: 当从离散的秩和转换为连续的正态分布时,别忘了使用 0.5 的连续性修正(continuity correction)!(例如:\(|R_1 - E(R_1)| - 0.5\))。
本章摘要与重点
1. 符号检验: 只使用数据与中位数相比的方向(+/-)。使用二项分布 \(B(n, 0.5)\)。
2. Wilcoxon 符号秩检验(单样本): 使用差值的秩。要求分布是对称的。
3. Wilcoxon 秩和检验(双样本): 通过对合并数据排序来比较两个独立组别。
4. 大样本: 当 \(n\) 很大时,我们使用正态近似,并搭配特定的平均值和方差公式。
5. 为什么要排序? 排序消除了极端值(outliers)的影响,使检验比 t 检验更“稳健(robust)”。
最后的鼓励: 无参数检验看起来步骤繁琐,但只要掌握了排序(ranking)的艺术,你就克服了一半的挑战!继续练习那些秩和的计算,你一定会做得很好。