导论：超越“最佳拟合”线

在上一章中，我们学习了如何使用最小二乘估计 (Least Squares Estimation) 在散点图上画出一条“最佳拟合”线。但作为精算师，我们不能只画条线就指望万事大吉！我们需要知道：这种关系到底是真实存在的，还纯属巧合？我们的模型对数据的拟合程度究竟如何？如果我们用这个模型来预测未来，其可信度有多高？

在本章中，我们将从单纯的“画线”跨越到统计推断 (Statistical Inference)。我们将学习如何检验结果，并为预测值加上“误差条”。如果公式起初看起来有点吓人，请不要担心——我们会一步步将它们拆解！

1. 斜率参数 (\(\beta\)) 的统计推断

斜率 (\(\beta\)) 是我们回归模型的核心。它告诉我们：解释变量 (Explanatory Variable) (\(X\)) 每增加一个单位，响应变量 (Response Variable) (\(Y\)) 会随之改变多少。

斜率是否显著？

在精算工作中，我们经常检验原假设 (Null Hypothesis) \(H_0: \beta = 0\)。如果斜率为零，则意味着解释变量对响应变量没有影响。如果我们“拒绝原假设”，即表示有统计证据显示两者之间存在关系。

斜率的标准误

要检验斜率，我们首先需要知道它的标准误 (Standard Error)，记作 \(se(\hat{\beta})\)。这衡量了如果我们抽取许多不同的样本，估计值 \(\hat{\beta}\) 会产生多大的波动。

\(se(\hat{\beta}) = \sqrt{\frac{\hat{\sigma}^2}{S_{xx}}}\)

其中：

  • \(\hat{\sigma}^2\) 是估计的残差方差（通常称为残差均方 Residual Mean Square）。
  • \(S_{xx}\) 是 \(x\) 值的平方和，计算公式为 \(\sum (x_i - \bar{x})^2\)。

斜率的 t 检验

由于我们必须估计方差 \(\sigma^2\)，因此我们使用 t 分布 而非正态分布。检验统计量为：

\(t = \frac{\hat{\beta} - \text{假设值}}{se(\hat{\beta})}\)

对于标准的显著性检验 (\(H_0: \beta = 0\))，公式简化为 \(t = \frac{\hat{\beta}}{se(\hat{\beta})}\)。我们将此结果与自由度为 \(n - 2\) 的 t 分布进行比较。

小贴士：如果你的 \(t\) 统计量的绝对值很大（对于大多数样本量来说通常大于 2），则 p 值会很小，斜率很可能是显著的！

2. 拟合优度的衡量指标

即使斜率是显著的，模型仍可能表现不佳。拟合优度 (Goodness of Fit) 告诉我们模型实际上解释了多少数据背后的“故事”。

决定系数 (\(R^2\))

最常用的衡量指标是 \(R^2\)。它代表了响应变量的总变异中，能被回归模型解释的比例。

\(R^2 = \frac{SSR}{SST} = 1 - \frac{SSE}{SST}\)

其中：

  • SST (总平方和 Total Sum of Squares)： 数据中的总变异。
  • SSR (回归平方和 Regression Sum of Squares)： 由我们的拟合线所解释的变异。
  • SSE (残差平方和 Error Sum of Squares)： 拟合线未能解释的变异（即残差）。

解读 \(R^2\)：

  • \(R^2 = 1\)：完美拟合！所有数据点都准确地落在直线上。
  • \(R^2 = 0\)：模型毫无解释力；解释变量毫无用处。
  • 精算笔记： 在社会科学或复杂的保险理赔数据中，即使 \(R^2\) 只有 0.2 或 0.3 也可以被视为有用；而在物理科学中，我们通常追求 0.9 以上。

你知道吗？ 在简单线性回归（一个 \(X\) 和一个 \(Y\)）中，\(R^2\) 正好是 Pearson 相关系数 (\(r\)) 的平方。所以如果 \(r = 0.7\)，那么 \(R^2 = 0.49\)。

3. 预测区间：平均值 vs. 个别值

一旦我们得到了拟合模型 \(\hat{y} = \hat{\alpha} + \hat{\beta}x\)，我们就可以用它来预测未来的值。然而，预测分为两种不同的类型，辨别它们的区别至关重要！

A. 平均响应的置信区间 (Confidence Interval for the Mean Response)

当我们要估计特定 \(x_0\) 值下的平均 \(Y\) 值时，使用此区间。例如：“所有 40 岁保单持有人的平均理赔金额是多少？”

因为我们平均掉了个体的随机性，所以不确定性较小。

B. 个别响应的预测区间 (Prediction Interval for an Individual Response)

当我们要预测单个新观测值的 \(Y\) 值时，使用此区间。例如：“那位 40 岁的史密斯先生，他个人的理赔金额是多少？”

金科玉律：个别值的预测区间永远比平均值的置信区间更宽。为什么？因为个体预测包含了“平均值”的所有不确定性，加上其自身的随机波动 (\(\epsilon\))。

“额外加 1”的小窍门：
平均响应的方差包含类似 \([ \dots ]\) 的项。
个别响应的方差则包含 \([ 1 + \dots ]\) 的项。
那个额外的“1”就代表了单个观测值固有的方差 (\(\sigma^2\))。

4. 使用软件 (R) 与解读输出结果

在 Paper B 中，你不需要手算这些指标，而是使用 R。你需要具备阅读线性模型 (lm) 的 summary() 输出结果的能力。

R 输出结果中的关键项：

  • Coefficients 表格： 查看 Estimate 列获取 \(\hat{\beta}\)，查看 Pr(>|t|) 列获取 p 值。
  • Residual standard error： 这就是你的 \(\hat{\sigma}\)。
  • Multiple R-squared： 这就是你的 \(R^2\) 值。

预测的示例指令：
predict(model, newdata, interval = "confidence") — 用于平均值。
predict(model, newdata, interval = "prediction") — 用于个别值。

快速复习：应避免的常见错误

  • 混淆 \(R^2\) 与相关性： 请记住 \(R^2\) 不会告诉你关系的方向（正相关或负相关），只会告诉你强度。而相关系数 (\(r\)) 则两者都会告诉你。
  • 自由度： 在简单线性回归中，进行 t 检验和计算区间时，始终使用 \(n - 2\) 个自由度。这个“2”代表了我们估计的两个参数 (\(\alpha\) 和 \(\beta\))。
  • 外推法 (Extrapolation)： 使用模型预测远远超出原始数据范围的 \(x\) 值时要非常小心。在那些区域，“拟合优度”可能不再成立！

重点总结： 统计推断让我们能量化不确定性。我们使用 t 检验 来检查斜率，使用 \(R^2\) 来检查模型拟合度，并使用预测区间在考虑随机性的情况下预测未来值。