欢迎来到调整（Graduation）的世界！
在精算工作中，我们经常处理各种“杂乱无章”的数据。当我们查看原始死亡率时，由于样本量小或意外事件的影响，这些数据往往会随机地上下波动。但在现实世界中，我们预期死亡率会随着年龄增长呈现相对平滑的趋势。
调整（Graduation） 简单来说，就是将这些“凹凸不平”的原始利率进行平滑处理，从而得出一个既实用又符合现实的模型。你可以把它想象成使用修图应用程序，把颗粒感照片中的数字杂讯消除，从而还原出背后清晰的影像。
在本章中，我们将学习为什么要对数据进行调整、我们使用的方法，以及最重要的一点——我们如何利用统计检验来确认调整后的模型是否理想！
1. 为什么要进行调整？
试想一下，你正在观察 50 岁和 51 岁人群的死亡率。如果数据显示 50 岁人群的死亡风险是 51 岁人群的两倍，而这仅仅是因为你小样本数据中出现了几宗随机意外，你绝对不会想使用这些“粗略”的死亡率来厘定保险费率。这根本不合理！
我们对数据进行调整主要有三个原因：
1. 消除随机波动： 原始数据充满了“杂讯”。我们希望从中看出背后的真实趋势。
2. 确保规律性： 我们预期利率会符合逻辑地变动（例如：死亡率通常随年龄增长而增加）。
3. 实用性： 使用平滑的数学公式或可靠的数据表，比使用那些破碎、原始的数据点来计算保费和准备金要容易得多。
平衡的艺术：拟合度（Fit）与平滑度（Smoothness）
在调整数据时，你需要在两个目标之间进行拉锯：
• 对数据的拟合（Goodness of Fit）： 你的平滑曲线与实际观测点之间的贴合程度。
• 平滑度（Smoothness）： 曲线变动的“平坦”或“流畅”程度。
比喻： 如果你用锯齿状的线连接图表上的每一个点，你达到了 100% 的拟合度，但平滑度却是 0%。如果你画一条完美的水平直线，你达到了 100% 的平滑度，但对数据的拟合可能非常差。我们追求的是两者之间的“金发女孩原则”（恰到好处的平衡点）！
2. 调整的方法
课程建议了三种主要的数据平滑方法。如果这些方法看起来很技术性，别担心；重点是理解每一种方法的逻辑。
A. 图解法（Graphic Method）
这是一种“老派”的做法。你直接在图表上绘制原始利率，然后手动（或使用软件）画出一条平滑线穿过它们。
• 优点： 直观；你可以运用专业判断。
• 缺点： 具主观性。两位精算师可能会画出完全不同的线条！
B. 数学公式调整法（Parametric）
我们假设死亡率遵循特定的公式，例如 Gompertz-Makeham 定律：
\( \mu_x = A + Bc^x \)
• 优点： 非常平滑；容易编写成计算机程序。
• 缺点： 如果该人群实际上并不遵循该特定公式，那么“拟合度”将会非常糟糕。
C. 参照标准表法（Reference to a Standard Table）
我们选取一个现有且著名的数据表（如国家死亡率表），并对其进行“微调”以适应我们的特定数据。我们通常使用线性转换：
\( \dot{q}_x = a + b \cdot q_x^s \)
（其中 \( q_x^s \) 是标准表利率，而 \( \dot{q}_x \) 是我们调整后的利率）。
• 优点： 当你的数据集较小时非常有效；你可以“借用”一个更大型、更可靠的人群数据形状。
• 缺点： 你受限于所选标准表的形态。
重点总结： 调整是一种平衡平滑度与拟合度的艺术。我们可以用手动（图解）、用公式（参数化）或使用“大哥级”数据表（参照）来达成。
3. 统计检验：我们做得对吗？
当我们得出调整后的利率后，我们需要证明它们是可靠的。我们使用多种检验来检查我们调整后的利率 (\( \dot{E}_x \)) 是否在不具偏差的情况下与观测数据 (\( d_x \)) 吻合。
在所有这些检验中，我们都会关注残差（Residuals）（即观测值与模型预测值之间的差异）。
卡方（\(\chi^2\)）检验（整体拟合检验）
此检验观察所有年龄段的总体差异。我们希望整体的“误差”越小越好。
公式为：\( \sum \frac{(d_x - E_x \dot{q}_x)^2}{E_x \dot{q}_x(1 - \dot{q}_x)} \)
• 虚无假设 (\( H_0 \))： 调整后的利率即为“真实”利率。
• 决策： 如果我们的计算值小于表格中的临界值，我们就“无法拒绝”该调整方案。这代表是一个好的拟合！
标准化偏差检验（离群值检验）
我们检查每个年龄段的个别偏差（误差）是否遵循标准常态分布 \( N(0, 1) \)。
• 观察重点： 我们预期约 95% 的偏差值会落在 -1.96 到 +1.96 之间。如果我们看到像 +4.0 这样的值，说明我们的调整在该特定年龄段失效了。
符号检验（偏差检验）
这是一个简单但强大的检验。我们计算调整后利率高于数据（+）的次数，以及低于数据（-）的次数。
• 逻辑： 如果我们的模型没有偏差，它应该像掷硬币一样。我们预期正号和负号的数量大致相等。
• 常见错误： 学生经常将此与“符号分组检验”（Grouping of Signs test）搞混。请记住：符号检验关注的是正号与负号的总数量。
符号分组检验（“聚集”检验）
此检验检查相同符号是否“连续出现”。例如，如果你的模型连续 10 个年龄段都低于数据，这意味着你的曲线在特定区间内“过低地切入”了数据。
• 比喻： 如果你掷硬币 20 次，得到 10 个正面和 10 个反面，这是正常的（符号检验）。但如果你连续得到 10 个正面，然后又连续得到 10 个反面，那就有点奇怪了（符号分组检验）！
序列相关检验（模式检验）
此检验寻找年龄 \( x \) 与 \( x+1 \) 的偏差之间的相关性。
• 目标： 我们希望误差是随机的。如果今天的正误差通常意味着明天也是正误差，说明我们的模型遗漏了某种趋势。
冷知识： Stevens-Dodd 方法经常用于计算符号分组检验中序列分布的概率。它是使该检验更加精确的专业精算工具之一！
4. 检验总览
1. 卡方检验： 检查误差的总体大小。
2. 符号检验： 检查是否存在过多的正值或负值（整体偏差）。
3. 符号分组检验： 检查正值或负值是否“堆积”在一起（局部偏差）。
4. 标准化偏差检验： 检查单一年龄段是否有极大的误差。
5. 序列相关检验： 检查误差序列中是否存在模式。
5. 常见避坑指南
• 自由度（Degrees of Freedom）： 在卡方检验中，记得要减去你估计的参数数量。如果你使用的公式有 3 个常数 (\( A, B, c \))，你必须从自由度中减去 3！
• 小样本： 如果死亡人数非常少（少于 5 人），卡方检验可能无效。你可能需要将年龄组进行合并。
• 过度平滑（Over-smoothing）： 如果你通过了所有平滑度检验，但卡方值却非常大，这说明你把数据中真实的特征也“平滑”掉了！
关键要点： 当调整后的利率既平滑、能代表数据的内在趋势，又能通过各项关于偏差和拟合度的统计检验时，调整才算成功。不要只依赖单一检验；优秀的精算师会综合考虑所有检验结果，以得出完整的分析结论。
继续练习卡方计算吧！这是 CS2 考试的核心重点。你一定可以做到的！