Estimation, confidence intervals and tests

欢迎来到单元 S3：估计、置信区间与检验！

在你之前的统计单元中，你处理的大多是已经给定的数据。在统计 3 (Statistics 3) 中，我们将化身为现实世界中的统计研究员。我们如何在不测量每个人的情况下，知道全国人口的平均身高？答案就是估计 (Estimate)。在本章中，你将学习如何仅利用一小部分样本，对整个群体做出“精明的猜测”，以及如何对这些猜测保持信心。如果起初觉得公式很多，别担心，我们会带你一步步拆解！

1. 估计量与偏差

当我们想了解关于总体 (Population)（整个群体）的信息时，我们会使用从样本 (Sample)（群体的一小部分）计算出来的统计量 (Statistic)。这个统计量被称为估计量 (Estimator)。

关键术语：

• 估计量 (Estimator)：用于计算估计值的公式或方法（例如：样本平均值公式）。
• 估计值 (Estimate)：将数据代入公式后得到的实际数字。
• 偏差 (Bias)：如果一个估计量的平均值等于真实的总体参数，我们称之为无偏 (Unbiased)。想象一下向靶心投掷飞镖；如果你没有偏差，所有投掷点的“平均值”应该会刚好落在靶心上！

主要的无偏估计量：

1. 总体平均值 (\(\mu\)) 的无偏估计： 即样本平均值，记作 \(\bar{x}\)。
\( \bar{x} = \frac{\sum x}{n} \)

2. 总体方差 (\(\sigma^2\)) 的无偏估计： 我们使用符号 \(s^2\) 来表示。
重要提示：为了使估计无偏，我们除以 \(n-1\) 而不是 \(n\)。这被称为贝塞尔校正 (Bessel's Correction)。
\( s^2 = \frac{1}{n-1} \sum (x_i - \bar{x})^2 \) 或计算器更友好的版本：
\( s^2 = \frac{1}{n-1} \left( \sum x^2 - \frac{(\sum x)^2}{n} \right) \)

重点温习：
如果题目给你一个样本并要求方差的无偏估计，请务必检查是否应该除以 \(n-1\)。如果数据已经以 \(S_{xx}\) 的形式总结，则 \(s^2 = \frac{S_{xx}}{n-1}\)。

2. 样本平均值的分布

如果你从总体平均值为 \(\mu\)、方差为 \(\sigma^2\) 的群体中，反复抽取许多大小为 \(n\) 的不同样本，这些样本平均值 (\(\bar{X}\)) 会形成它们自己的分布。

关键特性：
1. 样本平均值的期望值等于总体平均值：\(E(\bar{X}) = \mu\)。
2. 样本平均值的方差小于总体方差：\(Var(\bar{X}) = \frac{\sigma^2}{n}\)。
3. 标准误 (Standard Error) 是此分布的标准差：\(\text{Standard Error} = \frac{\sigma}{\sqrt{n}}\)。

类比：城市中个人的身高差异很大（方差大）。但如果你将 50 人分为一组并找出每组的平均身高，这些平均值彼此会非常接近（方差/标准误较小）。

核心结论：如果原始总体是正态分布 (Normal)，则 \(\bar{X} \sim N(\mu, \frac{\sigma^2}{n})\)。

3. 正态平均值的置信区间

置信区间 (Confidence Interval, CI) 是一个数值范围，我们有“相当把握”真实的总体平均值 \(\mu\) 落在该范围内。

公式：
\( \bar{x} \pm z \left( \frac{\sigma}{\sqrt{n}} \right) \)

其中 \(z\) 是根据你的置信水平从正态分布表中取得的值：

• 对于 90% 的置信区间，使用 \(z = 1.645\)
• 对于 95% 的置信区间，使用 \(z = 1.960\)
• 对于 99% 的置信区间，使用 \(z = 2.576\)

步骤流程：
1. 求出样本平均值 \(\bar{x}\)。
2. 确定总体标准差 \(\sigma\)。（若未知且 \(n\) 很大，请使用 \(s\)）。
3. 选择对应百分比的正确 \(z\) 值。
4. 计算“误差范围 (error margin)”：\(z \times \frac{\sigma}{\sqrt{n}}\)。
5. 将区间写成 \((\bar{x} - \text{error}, \bar{x} + \text{error})\) 的形式。

你知道吗？
95% 的置信区间并不是指真实平均值有 95% 的概率落在该特定区间内。它的意思是，如果我们重复整个实验 100 次，我们所计算出的 100 个区间中，有 95 个会包含真实的总体平均值。

4. 中心极限定理 (CLT)

这可以说是统计学中最强大的工具！
法则：如果样本大小 \(n\) 很大（通常 \(n > 30\)），无论原始总体的分布看起来如何，样本平均值 \(\bar{X}\) 的分布将会近似于正态分布 (Normal)。

为什么这很有用？
如果你要检验一个偏态分布（如房价或收入）的群体平均值，只要样本够大，你仍然可以使用正态分布的方法！

常见误区：学生常以为 CLT 是指总体变成了正态分布。事实并非如此！它只说明了样本平均值的分布变成了正态分布。

5. 平均值的假设检验

我们利用这些检验来检查关于总体平均值的宣称是否可能为真。

情况 A：单一平均值（方差已知）

我们检验零假设 (null hypothesis) \(H_0: \mu = \mu_0\)。
检验统计量 (Test Statistic) 为：
\( z = \frac{\bar{x} - \mu}{\sigma / \sqrt{n}} \)

情况 B：两个平均值之差

如果我们想比较两个独立的组别（例如：“男生的成绩是否高于女生？”），我们会观察 \(\bar{X} - \bar{Y}\) 的差异。
假设组别是独立的，检验统计量为：
\( z = \frac{(\bar{x} - \bar{y}) - (\mu_x - \mu_y)}{\sqrt{\frac{\sigma_x^2}{n_x} + \frac{\sigma_y^2}{n_y}}} \)
通常在 \(H_0\) 下，我们假设平均值相等，即 \((\mu_x - \mu_y) = 0\)。

情况 C：大样本（方差未知）

如果你不知道总体方差 \(\sigma^2\)，但样本很大 (\(n > 30\))，你可以直接用无偏样本估计值 \(s^2\) 代替 \(\sigma^2\)。CLT 允许我们继续使用 \(z\)-检验！

检验的关键要点：
- 如果 \(|z_{\text{calculated}}| > z_{\text{critical}}\)，我们拒绝 \(H_0\)。这表示有显著证据显示平均值已经改变。
- 永远记得在结论中写出与题目背景相关的句子：“在 5% 的显著水平下，有显著证据显示该种新肥料提高了植物的平均高度。”

总结清单

• 我是否有使用 \(n-1\) 来计算方差的无偏估计？
• 样本大小是否足够大 (\(n > 30\)) 以使用中心极限定理？
• 我是否有将标准差除以 \(\sqrt{n}\) 以获得标准误？
• 我的假设检验是单尾（寻找增加/减少）还是双尾（寻找任何变化）？
• 我的最终答案是否已结合题目背景进行说明？

如果起初觉得这些很棘手，别担心！ 估计学的核心在于练习。一旦你认出哪些公式适用于“已知”或“未知”方差的情境，剩下的就只是细心的计算了。你一定做得到！