欢迎来到非参数检验的世界!

你好,未来的统计学家!在经历了 \(t\) 检验和正态分布推断中那些严格的假设条件后,这一章的学习可能会让你感到耳目一新。我们将深入探讨**非参数检验**(有时也被称为“无分布检验”)。

我们将学到什么? 当我们无法假定总体数据符合正态分布等理想分布时,我们将学习如何对总体特征(例如中位数)进行假设检验。

为什么这很重要? 在现实世界中,数据往往“不守规矩”!非参数检验为我们提供了强大的工具,用于分析偏态或非正态分布的数据,确保我们的结论稳健可靠。

1. 理解非参数检验

什么叫“非参数”检验?

在之前的统计学模块中,你接触过诸如 \(t\) 检验之类的**参数检验**。这些检验对抽样总体做出了一些特定的假设,其中最核心的假设通常是总体**服从正态分布**。

关键区别:参数检验 vs. 非参数检验
  • 参数检验(例如 \(t\) 检验):

    假设数据来自特定的分布(通常是正态分布)。
    对总体参数(如总体均值 \(\mu\))进行假设检验。
    当满足假设条件时,它们通常具有更高的统计效能。

  • 非参数检验(例如符号检验、威尔科克森检验):

    对总体分布**不做假设**(或仅做非常一般的假设,例如对称性)。
    对中位数或分布特征进行假设检验。
    适用于样本量较小,或数据呈显著偏态/非正态分布的情况。

比喻: 想象一下挑选参加活动的服装。参数检验就像是量身定做的西装——如果体型完美契合(符合正态分布),效果会很好;但如果尺寸不对,就会显得很不协调。非参数检验则像是弹力十足的休闲服——无论数据呈现什么形状,它都能很好地适应,因此在分布未知或非正态时非常有用。

核心速记: 当你无法假定数据服从正态分布时,就请使用非参数检验。它们通常聚焦于中位数,而不是均值。

2. 符号检验 (The Sign Test)

符号检验是最简单的非参数检验。它只关注数据相对于假设值或配对观测值之间差异的方向(符号),完全忽略差异的具体数值大小。

2.1 单样本符号检验(检验总体中位数)

我们使用该检验来判断总体**中位数 \(M\)** 是否等于某个假设值 \(M_0\)。

假设通常设定为:\(H_0: M = M_0\) 对阵 \(H_1: M \neq M_0\)(或对应的单侧假设)。

详细步骤:
  1. 确定差值: 计算每个数据点 \(x_i\) 与假设中位数 \(M_0\) 的差:\(d_i = x_i - M_0\)。
  2. 标注符号: 给每个差值分配一个符号(+ 或 -)。
  3. 处理零值: 恰好等于 \(M_0\) 的观测值(即差值为零)直接忽略,样本量 \(n\) 相应减小。
  4. 计算检验统计量: 检验统计量通常为出现次数较少的那类符号的数量(正号或负号中较小的那个计数)。记此数为 \(k\)。
  5. 查找 P 值: 在 \(H_0\) 成立的前提下,正号的数量服从二项分布 \(B(n, 0.5)\)。我们计算观察到 \(k\) 或更少次数的概率(针对单侧检验),或者 \(2 \times P(\text{观察到 } k \text{ 或更少})\)(针对双侧检验)。

示例: 如果我们预期中位数学习时间为 10 小时 (\(M_0 = 10\)),实际发现 12 名学生学习时间更长(正号),3 名学生更短(负号),则统计量 \(k = 3\)。接着我们查找在 \(B(15, 0.5)\) 中获得 3 个或更少负号的概率。

记忆锦囊: 符号检验就像掷硬币!如果零假设成立,数据点高于或低于 \(M_0\) 的可能性是相等的,所以概率 \(p=0.5\)。

2.2 配对样本符号检验

用于匹配配对数据(例如比较干预前后的分数)。我们检验的假设是两组总体(前后)是相同的(这意味着中位差为零)。

处理流程与单样本检验相同,区别在于:

  1. 差值 \(d_i\) 是在配对的观测值之间计算的(例如 \(d_i = \text{分数}_A - \text{分数}_B\))。
  2. 计数正、负差值的个数(忽略零),然后基于 \(p=0.5\) 进行二项检验。

核心速记: 符号检验简单直观,依赖于二项分布 \(B(n, 0.5)\)。它很有效,但舍弃了关于差异“大小”的重要信息。

3. 威尔科克森检验 (Rank Tests)

威尔科克森检验比符号检验更强大,因为它们通过分配秩次(Ranks)纳入了差异的量级信息,而不仅仅是符号。

大纲重要提示: 只有在假设总体分布是对称的前提下,威尔科克森检验才有效。如果已知数据不对称(如高度偏态),请坚持使用符号检验。

3.1 威尔科克森符号秩检验 (Wilcoxon Signed-Rank Test)

该检验是单样本或配对样本 \(t\) 检验的非参数等价物,用于对总体中位数 \(M\) 进行假设检验。

详细步骤(配对样本/检验 \(M_0\)):
  1. 计算差值: 算出 \(d_i\)(即 \(x_i - M_0\) 或 \(A_i - B_i\))。
  2. 忽略零值: 剔除所有差值为零的观测值,并相应减少 \(n\)。
  3. 对绝对差值排序: 对剩余差值的绝对值 \(|d_i|\) 进行排序。(注意: 课程大纲说明考题中不会涉及秩次并列的情况,这简化了步骤。)
  4. 赋予秩次符号: 为每个秩次标注其原始差值 \(d_i\) 的符号。
  5. 计算秩次和:
    • \(P\):所有正差值对应的秩次之和。
    • \(Q\):所有负差值对应的秩次之和。
    (校验:\(P + Q = \sum_{i=1}^{n} i = \frac{n(n+1)}{2}\),其中 \(n\) 为非零差值的个数。)
  6. 确定检验统计量 (\(T\)):

    检验统计量 \(T\) 取 \(P\) 和 \(Q\) 中的较小值

    \[ T = \min(P, Q) \]

  7. 查阅临界值表: 使用威尔科克森符号秩检验的临界值表(MF19)。如果计算出的 \(T\) 小于或等于临界值,我们拒绝 \(H_0\)。

为什么取较小值? 如果 \(H_0\) 成立,正秩和与负秩和应该大致相等。如果其中一个非常小(意味着另一个非常大),则表明数据偏离了零中位数。

辅助小贴士: 不必背诵临界值,考试时会提供表 (MF19)。只需记住,在此检验中,\(T\) 值越小,反驳 \(H_0\) 的证据越强

3.2 威尔科克森秩和检验 (曼-惠特尼 U 检验)

该检验用于比较两个独立总体,以查看它们是否相同(即分布是否一致)。它是两样本 \(t\) 检验的非参数替代方案。

设 \(m\) 为较小样本的容量,\(n\) 为较大样本的容量,且 \(m \le n\)。

详细步骤:
  1. 合并与排序: 将两个样本的所有数据点合并成一组,对所有 \(m+n\) 个观测值进行从小到大(秩次 1 到 \(m+n\))的排序。
  2. 计算 \(R_m\): 求出较小样本(容量为 \(m\))所有秩次之和,记为 \(R_m\)。
  3. 确定检验统计量 (\(W\)): 我们需要计算一个对比值。
    • \(R_m\)(较小样本的秩和)
    • \(m(n+m+1) - R_m\)(对比和)
    检验统计量 \(W\) 为这两个值中的较小者
    \[ W = \min\left( R_m, \ m(n+m+1) - R_m \right) \]
  4. 查阅临界值表: 使用威尔科克森秩和检验的临界值表(MF19),利用对应的 \(m\) 和 \(n\) 值。如果计算出的 \(W\) 小于或等于临界值,则拒绝 \(H_0\)(即总体分布一致的假设)。

你知道吗? 威尔科克森秩和检验在数学上等同于曼-惠特尼 U 检验,尽管它们在统计量的计算公式上略有不同。

核心速记: 威尔科克森检验依赖于对数据排序。符号秩检验(单样本/配对)将秩次与中位数/零差异进行比较,而秩和检验(两独立样本)则比较两组之间的秩和。

4. 大样本的正态近似

正如二项分布和泊松分布一样,当样本量变得很大时,通过查表来计算临界值或概率会变得非常繁琐(而且临界值表通常只到一定限度,例如 \(n=20\))。

当 \(n\)(或 \(m\) 和 \(n\))较大时,我们可以利用正态分布来近似检验统计量的分布。这依赖于中心极限定理。

4.1 威尔科克森符号秩检验 \(T\) 的正态近似

当样本量 \(n\)(非零差值的数量)较大时使用。

检验统计量 \(P\)(或 \(Q\))近似服从正态分布:

均值:\(E(P) = \mu_P = \frac{1}{4}n(n+1)\)
方差:\(Var(P) = \sigma^2_P = \frac{1}{24}n(n+1)(2n+1)\)

由于 \(T\) 是 \(P\) 和 \(Q\) 的较小值,我们计算差值和小于或等于观测值 \(T\) 的概率。

4.2 威尔科克森秩和检验 \(R_m\) 的正态近似

当两个样本量 \(m\) 和 \(n\) 均较大时使用。我们通常关注较小样本秩和 \(R_m\) 的分布。

检验统计量 \(R_m\) 近似服从正态分布:

均值:\(E(R_m) = \mu_{R_m} = \frac{1}{2}m(m+n+1)\)
方差:\(Var(R_m) = \sigma^2_{R_m} = \frac{1}{12}mn(m+n+1)\)

在这两种情况下,一旦得到均值和方差,我们就可以计算标准化检验统计量 \(Z\):

\[ Z = \frac{T - \mu_T}{\sigma_T} \quad \text{或} \quad Z = \frac{R_m - \mu_{R_m}}{\sigma_{R_m}} \]

(注意:在使用正态近似时,你可能需要进行连续性修正,尽管这通常影响较小,具体取决于题目要求。)

常见错误警示!

学生们经常搞混什么时候用哪种威尔科克森检验:

  • 符号秩检验 (\(T\)): 用于单样本配对数据。它使用的是差值。
  • 秩和检验 (\(W\)): 用于两个独立样本。它使用的是合并后的秩次。

核心速记: 对于大样本,非参数检验可以通过正态分布进行近似,利用基于秩次导出的特定均值和方差公式即可完成。