欢迎来到经验贝叶斯估计 (Empirical Bayesian Estimation)！
在我们之前学习可信度理论时，通常会假设我们已知数据的潜在分布（例如泊松分布或正态分布）。但在现实世界中，我们很少有这种运气。这就是经验贝叶斯估计派上用场的时候。它就像是一名侦探——我们不去预设罪犯长什么样子，而是通过观察证据（数据）来找出规律。
在本章中，我们将专注于无参数 (nonparametric) 和半参数 (semiparametric) 的情况。别被这些大词吓到了！“无参数”只是指我们不假设特定的分布类型；而“半参数”则是指我们对结构有一点了解，但并非全盘掌握。我们将学习如何估计这“三大”参数：\(\mu\)（整体均值）、\(v\)（过程方差）以及 \(a\)（假设均值的方差）。
1. 核心概念：为什么要用经验贝叶斯？
可信度理论的目标是找到这条公式：\(Z \bar{X} + (1-Z)\mu\)。为了计算可信度因子 \(Z\)，我们需要两样东西：过程方差的期望值 (v) 以及 假设均值的方差 (a)。
当我们拥有不同投保人（或称“风险”）多年份的数据，却完全不知道潜在的概率分布时，我们就会使用无参数估计。我们直接利用数据本身来估计 \(v\) 和 \(a\)。
比喻： 想象你是田径队的教练。你不知道所有人类确切的“天赋分布”（参数模型），但你手头有 10 位运动员过去 5 场比赛的成绩。你会利用这些具体的成绩来估计运动员比赛间表现的波动（\(v\)），以及他们之间天赋的差异（\(a\)）。
2. 无参数情况（Bühlmann 模型）
在此情境下，我们假设每个风险（投保人）的风险敞口 (exposure) 相同（例如，每个人都是一个“单位”）。我们有 \(k\) 个风险，且每个风险都有 \(n\) 年的数据。
逐步估计参数
步骤 1：计算每个风险的平均值
首先，找出每个投保人 (\(i\)) 的均值：
\(\bar{X}_i = \frac{1}{n} \sum_{j=1}^{n} X_{ij}\)
步骤 2：计算总体均值 (\(\hat{\mu}\))
这就是所有个体平均值的平均值：
\(\hat{\mu} = \bar{X} = \frac{1}{k} \sum_{i=1}^{k} \bar{X}_i\)
步骤 3：估计过程方差 (\(\hat{v}\))
这衡量的是个人理赔额偏离其自身平均值的程度。我们取所有风险样本方差的平均值：
\(\hat{v} = \frac{1}{k(n-1)} \sum_{i=1}^{k} \sum_{j=1}^{n} (X_{ij} - \bar{X}_i)^2\)
步骤 4：估计假设均值的方差 (\(\hat{a}\))
这衡量的是不同风险的“真实均值”之间的差异。这稍微棘手一点，因为群体均值之间的原始方差也包含了一些来自过程方差的“杂讯”：
\(\hat{a} = \frac{1}{k-1} \sum_{i=1}^{k} (\bar{X}_i - \bar{X})^2 - \frac{\hat{v}}{n}\)
快速回顾： 为什么要减去 \(\frac{\hat{v}}{n}\)？因为我们观察到的投保人样本均值之间的变异，会因为每个样本均值只是个估计值而显得“被夸大”了。我们减去这些杂讯，才能找到个人之间的“真实”方差。
重点总结： 如果 \(\hat{a}\) 很大，代表投保人之间差异很大，因此个别数据非常有用（\(Z\) 值高）。如果 \(\hat{a}\) 很小，代表大家其实都差不多，那我们就会更依赖群体平均值（\(Z\) 值低）。
3. 半参数情况（Bühlmann-Straub 模型）
如果风险规模不同怎么办？例如，一个“风险”可能是一家只有 5 名员工的小企业，而另一个是拥有 500 名员工的企业。这就是 Bühlmann-Straub 模型。我们现在有了权重（风险敞口），表示为 \(m_{ij}\)。
不同风险敞口下的估计
均值 (\(\hat{\mu}\))：
我们使用所有理赔额的加权平均：
\(\hat{\mu} = \frac{1}{m} \sum_{i=1}^{k} \sum_{j=1}^{n} m_{ij} X_{ij}\)，其中 \(m\) 是总风险敞口。
过程方差 (\(\hat{v}\))：
\(\hat{v} = \frac{1}{\sum_{i=1}^{k} (n_i - 1)} \sum_{i=1}^{k} \sum_{j=1}^{n} m_{ij} (X_{ij} - \bar{X}_i)^2\)
假设均值的方差 (\(\hat{a}\))：
这个公式是本章的“终极大魔王”。它看起来很吓人，但逻辑与无参数情况相同：
\(\hat{a} = \frac{\sum_{i=1}^k m_i (\bar{X}_i - \bar{X})^2 - (k-1)\hat{v}}{m - \frac{1}{m} \sum_{i=1}^k m_i^2}\)
其中 \(m_i\) 是风险 \(i\) 的总风险敞口。
你知道吗？ 在某些题目中，计算结果可能会出现负数的 \(\hat{a}\)。由于方差不可能是负数，如果考试时遇到这种情况，我们就直接设 \(\hat{a} = 0\)。这意味着个别数据并没比群体平均值更有用，因此 \(Z = 0\)。
4. 常见陷阱与记忆技巧
别搞混你的分母！
- 在无参数情况下计算 \(\hat{v}\) 时，分母是 \(k(n-1)\)。记住：“组数乘以每组的自由度”。
- 在计算 \(\hat{a}\) 的样本方差时，分母是 \(k-1\)。记住：“比较这 \(k\) 组之间的差异”。
“零方差”陷阱：
如果计算出的 \(\hat{a}\) 是负数，永远记得将其设为 \(\hat{a} = 0\)。如果你忘了这点，你的 \(Z\) 值会变成负数，这在可信度理论中是完全讲不通的！你不可能对你的数据有“负面”的信任度。
记忆小技巧：
对于 Bühlmann-Straub 的 \(\hat{a}\) 公式，注意分母部分：\(m - \frac{\sum m_i^2}{m}\)。这看起来很像方差公式 \((E[X^2] - (E[X])^2)\)。这是因为 \(\hat{a}\) 正试图分离出群组间的方差。
总结与要点
1. 无参数： 用于所有风险的风险敞口相等且我们不知道分布时。我们使用平均值和样本方差来找出 \(v\) 和 \(a\)。
2. 半参数： 用于风险具有不同风险敞口时（Bühlmann-Straub）。公式因为加入了权重 (\(m_{ij}\)) 而变复杂，但逻辑不变：群组间方差减去杂讯。
3. 无偏估计量 (Unbiased Estimators)： 所有这些估计量（\(\hat{\mu}, \hat{v}, \hat{a}\)）设计上都是“无偏的”，代表它们平均来说能击中真实数值。
4. “负数 a”规则： 如果你算出的 \(\hat{a} \leq 0\)，则 \(\hat{a} = 0\) 且 \(Z = 0\)。
如果这些公式看起来很长，不用担心！ 大多数考试题目都会直接给你这些加总数值（例如 \(\sum \sum (X_{ij} - \bar{X}_i)^2\)）。你的任务是知道将它们代入哪个公式。多练习几题，你就会开始看出当中的规律了！