欢迎来到“检查站”:模型诊断与假设验证

你已经辛苦地建立了一个线性模型,但你如何知道结果是否值得信赖呢?在精算建模的世界里,建立模型只是成功的一半,另一半则是确保模型的假设成立。请把这一章当作是你模型的“健康检查”。我们正在寻找那些可能导致预测结果不可靠的症状。

如果起初觉得有点棘手,别担心! 我们将透过简单的类比和清晰的步骤,来拆解这些统计学上的“生命体征”。

1. “四大”假设 (LINE)

为了确保线性回归模型的有效性,我们通常会检查四个特定条件。记住这些条件的好方法就是背诵 LINE 这个缩写:

L – Linearity (线性): 预测变量与响应变量之间的关系应为一条直线。
I – Independence (独立性): 误差(残差)之间彼此独立。
N – Normality (正态性): 误差服从正态分布。
E – Equal Variance (等方差性): 误差的散布程度在所有预测变量水平下皆保持恒定(这是一个描述同方差性 (Homoscedasticity) 的专业术语)。

为什么这些假设很重要?

如果这些假设被违反,你的 p-value 可能会出错,置信区间可能会误导人,而预测结果也可能大相径庭。这就像用一支坏掉的温度计烤蛋糕——你虽然遵循食谱,但结果绝对不会如你所预期!

关键重点:

在信任模型输出之前,请务必检查 LINE 假设。这些大多数都是透过查看残差 (Residuals)(即实际值与模型预测值之间的差异)来进行检查的。

2. 残差图:模型的 X 光扫描

诊断模型最常见的工具是残差图 (Residual Plot),我们将残差 (\(e_i\)) 绘制在 y 轴,将拟合值 (\(\hat{y}_i\)) 绘制在 x 轴。

非线性 (曲线)

如果你在残差图中看到明显的 U 型曲线,这意味着你的模型遗漏了非线性关系。
解决方案: 你可能需要转换预测变量(例如使用 \(log(x)\) 或 \(x^2\))。

异方差性 (漏斗形)

如果残差随着图表移动而变得越来越宽或越来越窄(看起来像扇子扩音器),你就遇到了“异方差性 (Heteroscedasticity)”。这表示“等方差性”假设不成立。
解决方案: 通常,对响应变量取对数 (\(log(y)\)) 有助于缩小该漏斗形状。

快速复习:我们在找什么?

在理想的情况下,残差图应该看起来像是一团随机分布的点云,没有明显的规律,并集中在零附近。

3. 离群值与高杠杆点

并非所有的数据点都生而平等。有些点对模型影响巨大,而有些则不然。

离群值 (Outliers)

离群值是指该点的实际 \(y\) 值与预测值相差甚远。它拥有较大的残差。
类比:当其他人考试都拿 90 分时,有一个学生却拿了 0 分。

高杠杆点 (High Leverage Points)

如果一个点拥有异常的 \(x\) 值(预测变量值),它就具有高杠杆。这些点远离其他数据点的平均值,它们有能力将回归线“拉”向自己。
类比:在一群平均身高的人中,突然出现一个身高 8 英尺的人。

Cook’s Distance:模型的“戏剧分数”

我们如何知道一个点是否真的在伤害模型?我们使用 Cook’s Distance。它衡量的是如果移除该点,预测值会发生多少变化。
简单法则: 如果 Cook’s Distance 很高(通常大于 1),该点就是具影响力点 (influential point),值得进一步深入检查。

关键重点:

离群值在 \(y\) 轴方向上显得很奇怪;杠杆点则在 \(x\) 轴方向上显得很奇怪。而具影响力点是真正能显著改变回归线斜率的点。

4. 共线性:当预测变量“打架”时

共线性 (Collinearity)(或多重共线性)发生在两个或多个预测变量之间高度相关时。

你知道吗? 如果两个变量叙述的是同一件事(例如“英寸身高”与“厘米身高”),模型会感到困惑,不知道该将预测的“功劳”归给哪一个变量。

症状:VIF (方差膨胀因子)

我们使用 VIF 来检测共线性。
1. VIF 为 1 表示无相关性。
2. VIF 超过 5 或 10 则表示存在严重的共线性问题。

常见错误:

学生常误以为共线性会使模型的预测准确度降低。这是不对的! 共线性会使系数(\(\beta\) 值)变得不稳定且难以解释,但整体的预测结果可能仍然正常。不过,针对 SRM 考试,我们通常希望移除 VIF 过高的变量以维持模型稳定。

5. 诊断步骤总结

如果你在考试中卡住了,请遵循这份心智检查表:

1. 检查残差图: 寻找规律(非线性)或漏斗状(方差不固定)。
2. 检查 QQ-Plot: 这是用于正态性假设的。点应该落在对角直线上。
3. 检查 VIF: 如果 VIF > 10,代表有共线性问题。
4. 检查 Cook’s Distance: 寻找那些“主导模型”的具影响力点。

考试小撇步: 如果题目提到误差项的方差随着预测变量增加而增加,他们就是在讨论异方差性 (Heteroscedasticity)。答案通常涉及对数转换!

最终关键总结

残差是检查模型假设的主要工具。
线性透过“残差对拟合值图”进行检查。
正态性透过“正态 QQ 图”进行检查。
同方差性 (Homoscedasticity) 代表“方差恒定”。
VIF 衡量变量之间的重叠程度(共线性)。
Cook’s Distance 用于识别对模型结果有重大影响的点。