欢迎来到数据准备阶段！

你好！欢迎来到 CP2 课程中最关键的部分之一。在精算师建立精密的模型或进行未来预测之前，必须先处理「原始数据」（Raw Data）。你可以把这个阶段想像成准备制作高级料理的食材：如果你用没洗过的蔬菜或变质的牛奶来做菜，那么无论食谱多么完美，结果肯定是一场灾难！在精算领域，我们称此为「垃圾进，垃圾出」（Garbage In, Garbage Out，简称 GIGO）。

在本章中，我们将学习如何检查、清理数据，并将其整理至适合分析的状态。如果你起初觉得数据杂乱或令人不知所措，请不用担心；我们会将这些工作拆解成简单且合乎逻辑的步骤。

1. 数据检查：谨慎先行（Look Before You Leap）

在你开始进行任何变动之前，必须先了解手头上有什么。数据检查的目的是找出错误、不一致之处或奇怪的「离群值」（Outliers，即看起来不合理的数值）。

常见的视觉检查与逻辑检查

  • 合理性（Reasonableness）：数据是否合乎逻辑？例如，如果看到某位保单持有人的年龄是 \( 150 \) 岁，或者保费是负数，那这很可能出错了！
  • 完整性（Completeness）：数据是否有「缺漏」？检查是否有应该出现数字的地方却留白或显示为 "N/A"。
  • 一致性（Consistency）：如果你有两张表格，它们的数据是否吻合？例如，「索赔」表中的索赔总额是否与「摘要」表显示的总额一致？

小撇步：使用 Excel 的筛选（Filter）功能，可以快速检视某一列中的最小值和最大值。这是找出 \( 500 \) 岁高龄或是 \( 1900 \) 年之前日期最快的方法！

重点总结

在处理数据前后，请务必执行高层次检查（例如对字段进行加总或计算行数），以确保没有丢失任何信息。

2. 数据清理：清除杂质

当你发现错误后，就需要进行修正。不过，在 CP2 中有一个黄金准则：永远不要删除或更改原始数据来源！请务必在副本上进行操作。

清理步骤

1. 处理重复数据：有时同一笔数据被输入了两次。使用 Excel 的「删除重复项」（Remove Duplicates）功能，但要小心——在按下删除键之前，请确保这些行确实完全相同！
2. 修正格式：有时数字会被存储为文本格式（意味着你无法进行加总），或者日期格式奇怪。请使用 VALUE() 或 DATEVALUE() 函数来标准化它们。
3. 处理离群值：如果某个数值明显错误（比如那位 \( 150 \) 岁的人），你可能需要将其排除或用「上限值」取代。重要提示：记得在审计追踪（Audit Trail）中记录你这样做的原因！

类比：清理数据就像挑选一袋苹果。在开始做派之前，你要丢掉烂掉的、擦亮脏的，并确保它们都整齐地放在同一个篮子里。

3. 数据重组：调整正确的布局

有时候数据本身是「正确」的，但对于你的模型来说，其呈现形式可能不对。重组数据是为了调整排列方式，使你的公式运作得更有效率。

重组工具

  • 转置（Transposing）：将行转换为列，反之亦然。（在 Excel 中使用：选择性粘贴 > 转置）。
  • 映射与合并（Mapping and Merging）：使用 VLOOKUP、HLOOKUP 或 INDEX/MATCH 将来自两张不同表格的数据连接在一起。例如，将销售表中的「保单编号」与索赔表中的「保单编号」进行配对。
  • 排序与筛选：按时间顺序或类别组织数据，使其更容易阅读。

你知道吗？使用 INDEX/MATCH 通常被认为比 VLOOKUP 更「实务」，因为它更灵活，而且如果你在资料表中新增字段，它不会导致公式出错！

重点总结

一个结构良好的表格通常应该是每一行代表一个观测值（Observation），每一列代表一个变量（Variable）。这会让之后使用数据透视表（Pivot Tables）变得轻松许多！

4. 数据转换：创造新信息

转换阶段是指利用现有数据计算出模型所需的新信息。这是最具「加值」意义的步骤。

转换示例

  • 分组/区间化（Grouping/Binning）：与其观察每个人的年龄，不如将其分为不同区间（例如 \( 20-29 \)、\( 30-39 \)）。
  • 衍生字段（Derived Fields）：利用公式计算「赔付率」（Claim Ratio）：\( \text{Ratio} = \frac{\text{Total Claims}}{\text{Total Premiums}} \)。

常见错误：数据转换时忘记更新公式。如果你将输入数据除以 \( 1,000 \)，请务必确认你的输出标签有标明单位是「千元」！

5. 使用正确的工具（Excel 工具箱）

由于 CP2 是基于 Excel 的考试，你应该熟练使用以下工具进行数据准备：

1. 数据透视表（Pivot Tables）：非常适合总结大型数据集，并快速发现缺漏或错误。
2. 数据验证（Data Validation）：使用此功能可预先防止错误数据输入（例如限制单元格只能输入日期）。
3. If/Then 逻辑：运用 IF()、AND() 和 OR() 函数来标记符合特定条件的数据（例如：=IF(Age > 100, "CHECK ME", "OK")）。
4. 文本函数：LEFT()、RIGHT()、MID() 和 CONCATENATE() 用于拆分或合并文本字符串。

快速回顾框

检查（Check）：寻找错误/离群值。
清理（Clean）：修正格式并处理重复项。
重组（Restructure）：将数据调整为可用布局（例如使用 VLOOKUP）。
转换（Transform）：计算新字段或进行数据分组。
记录（Document）：为你的审计追踪记录每一个所做的变更！

总结与最终鼓励

数据准备工作可能感觉很繁琐，但实际上这往往是 CP2 考试得分的关键。如果你的数据干净且结构良好，后续的建模过程会顺畅许多，你的公式也会变得更简单。

如果觉得步骤很多，不用担心！经过练习，你会开始能够瞬间看出「坏数据」。只要记得保持严谨，妥善保存原始数据，并在文件中清楚解释你的处理步骤。你一定没问题的！