欢迎来到进阶预测模型！

你好！如果你已经掌握了广义线性模型（Generalized Linear Models, GLMs），那你的基础已经相当扎实。然而，在现实世界中，数据并不总是呈现「线性」的。有时数据会呈现曲线，有时会聚集成群，甚至有时复杂到我们需要类似「大脑」的结构才能解析。在本章中，我们将探讨加性模型（Additive Models）、线性混合模型（Linear Mixed Models）以及神经网络（Neural Networks）。这些工具能将你的预测分析技能从「标准」提升至「进阶」。不用担心，这些概念听起来可能很深奥——我们会一步步为你拆解！


1. 广义加性模型 (Generalized Additive Models, GAMs)

你可以把标准的 GLM 想成一把死板的尺，它尝试用直线（或简单的曲线）来拟合你的数据。但如果数据看起来像过山车一样起伏不定呢？这就是 GAMs 出场的时候了。它们允许预测变量与目标变量之间存在灵活的「波动」关系。

核心概念

在 GLM 中，我们假设预测变量的影响是线性的：\( \beta \cdot x \)。在 GAM 中，我们将那条直线替换为一个平滑函数（smooth function），记作 \( f(x) \)。
公式如下：
\( g(E[Y]) = \beta_0 + f_1(x_1) + f_2(x_2) + ... + f_p(x_p) \)
其中 \( g \) 是链接函数（link function），而每个 \( f_i \) 都是针对该特定变量量身打造的平滑函数。

为什么要使用 GAMs？

  • 灵活性： 它们能捕捉 GLM 无法处理的非线性模式。
  • 可解释性： 与「黑盒」模型不同，你仍然可以通过观察每个变量特定的「波动（wiggle）」来了解它们如何影响预测结果。
  • 可加性： 由于我们将各种影响相加，在保持其他变量不变的情况下，我们仍然可以解释单一变量的影响力。

类比与工具

类比： 想象你在订制西装。GLM 就像在商店购买一件「中码（Medium）」成衣，虽然合身但版型固定。而 GAM 就像一位裁缝师，根据你身体的具体曲线来调整布料。

关键术语：样条函数（Splines）。这是构成平滑函数的「基本组件」。你可以把它们想象成由多个小曲线片段在称为节点（knots）的连接点组合而成，从而创造出一条长且平滑的线。

快速复习：
- 平滑参数（\( \lambda \)）： 用于控制「紧贴数据（波动大）」与「保持简单（平滑）」之间的平衡。过度波动会导致过度拟合（overfitting）！
- 有效自由度（Effective Degrees of Freedom, EDF）： 用于衡量平滑程度的复杂度指标。EDF 为 1 代表直线；EDF 越高，模型越复杂。

重点总结：GAMs 在 GLM 的简洁性与机器学习模型的高复杂度之间，提供了一个理想的中间方案。

2. 线性混合模型 (Linear Mixed Models, LMMs)

有时，我们的数据点并不是相互独立的。例如，如果你正在分析保险理赔，来自同一位保单持有人的 10 笔理赔资料很可能存在相关性。线性混合模型正是为了处理这种「分组（grouped）」或「层级（hierarchical）」数据而设计的。

固定效应 vs. 随机效应

这是 LMM 中最重要的区分：

  1. 固定效应（Fixed Effects）： 我们在整个群体中关心的变量（例如年龄、性别）。它们被称为「固定」，因为我们假设它们对每个人的影响是相同的。
  2. 随机效应（Random Effects）： 代表组内的变异（例如某位特定保单持有人或特定地理区域的「运气」或「风险」）。我们假设这些效应来自于一个正态分布。

公式

\( Y = X\beta + Zu + \epsilon \)
- \( X\beta \)：固定部分（类似标准回归）。
- \( Zu \)：随机部分（针对特定群体的调整）。
- \( \epsilon \)：残余杂讯（误差项）。

你知道吗？

LMMs 通常也被称为多层模型（Multilevel Models）或层级模型（Hierarchical Models）。如果在考试中看到这些术语，请直接联想到「混合模型」！

常见错误

错误： 对仅有 2 或 3 个水平的变量（如性别）使用随机效应。
修正： 当你拥有大量群组（例如 50 个州或 1,000 位保单持有人）并且希望考虑它们之间的变异时，随机效应的效果最好。

重点总结：当你的数据是「嵌套」或「聚集」的，且你需要考虑组内的相关性时，LMMs 是你的首选工具。

3. 神经网络 (Neural Networks, NNs)

神经网络的灵感源自人类大脑。它们在从海量数据中寻找复杂且隐藏的模式方面极为强大。虽然它们通常被视为「黑盒」（难以解释），但其预测能力堪称顶尖。

架构

神经网络由多层「神经元」组成：

  • 输入层（Input Layer）： 数据（特征）进入模型的地方。
  • 隐藏层（Hidden Layers）： 「引擎室」。模型在此处对输入进行复杂的组合。
  • 输出层（Output Layer）： 最终预测结果（例如「此人会否理赔？」或「预期损失为何？」）。

运作原理（逐步解析）

1. 权重（Weights）与偏差（Biases）： 神经元之间的每个连接都有一个权重（代表重要性）。每个神经元还有一个偏差（偏移量）。
2. 加总： 神经元将所有加权后的输入相加。
3. 激活函数（Activation Function）： 这是「守门员」。它决定讯号是否足够强大以传递到下一层。常见函数包括：
    - ReLU（修正线性单元）： 非常流行；将负值转为零。
    - Sigmoid： 将数值压缩在 0 到 1 之间（非常适合用于概率预测）。
4. 前向传播（Forward Propagation）： 从输入移动到输出以取得预测值。
5. 反向传播（Backpropagation）： 模型检查预测误差（损失，Loss），并向后调整权重，以便下次预测更准确。

记忆法：NN 规则

将 NN 看作 Network of Numbers（数字网络）。它本质上就是一个巨大的数学方程式，通过不断调整权重，让输出结果尽可能符合现实情况。

NN 挑战快速复习

  • 过度拟合： NNs 非常灵活，甚至会「死记硬背」训练数据。我们使用 Dropout（随机关闭部分神经元）或 提前停止法（Early Stopping） 来防止此问题。
  • 可解释性： 与 GLM 相比，要解释神经网络「为什么」做出某个决定非常困难。
重点总结：神经网络是高强度的非线性模型，利用多层神经元和激活函数来捕捉极其复杂的关系。

考试当日总结清单

继续前进之前，请确保你能回答以下问题：

  • GAMs： 我能解释为什么我们使用样条函数（splines）而不是单纯的 \( x^2 \) 或 \( x^3 \) 吗？（答案：为了在局部保持灵活性，同时不影响整体曲线。）
  • LMMs： 我知道何时该使用随机效应吗？（答案：当数据是分组的，且组内观测值存在相关性时。）
  • 神经网络： 我能列举两个激活函数并解释隐藏层的作用吗？（答案：ReLU/Sigmoid；隐藏层捕捉非线性互动。）

加油！ 这些模型是预测分析中的「重型武器」。了解何时使用灵活的 GAM 或结构化的 LMM，正是成为优秀精算师的关键！