欢迎来到估计与推论的世界！
在之前的学习中，我们探讨了描述统计学——即总结现有数据的方法。但在真实的金融世界里，我们很少拥有所有的数据。我们不可能预知这世上每一只股票的未来回报，对吧？这就是估计与推论 (Estimation and Inference) 的用武之地。本章旨在学习如何从一大桶数据中汲取一小杯样本 (sample)，并以此对整体 (population) 做出聪明的预测。如果一开始觉得有点抽象别担心，我们会把它拆解成小块逐一击破！
1. 基本概念：母体与样本
在深入数学之前，我们需要厘清研究的对象。
母体 (Population)：你想了解的整个群体（例如：全球所有上市公司）。
样本 (Sample)：该群体中实际测量的一小部分（例如：我们挑选出来研究的 100 家公司）。
母体参数 (Parameter)：对母体的描述性测量值（如“真实”平均回报）。
样本统计量 (Statistic)：对样本的描述性测量值（如我们那 100 家公司的平均回报）。
小贴士：记住 P 代表 Population/Parameter（母体/参数），而 S 代表 Sample/Statistic（样本/统计量）！
抽样类型
我们如何挑选样本非常重要。如果挑选方式错误，结果就会失真。
- 简单随机抽样 (Simple Random Sampling)：母体中每一位成员被选中的概率均等。想象从帽子里抽签。
- 分层随机抽样 (Stratified Random Sampling)：我们根据特征（如行业）将母体分为子群组（称为层 (strata)），然后按比例从每一层中抽取样本。类比：如果你在做水果沙拉，你会希望每一匙都能吃到苹果、葡萄和哈密瓜，而不是只吃到满口的葡萄！
- 集群抽样 (Cluster Sampling)：我们将母体划分为多个“集群”（如地理区域），然后随机选取整个集群来进行研究。
重点总结：
抽样让我们无需查看每一个数据点就能估计母体特征，从而节省时间和成本。
2. 中央极限定理 (CLT) 的魔力
这可以说是统计学中最核心的概念。中央极限定理 (Central Limit Theorem) 告诉我们一个惊人的事实：只要样本够大（通常 n ≥ 30），样本平均数 (sample means) 的分配就会呈现常态分配（钟形曲线），无论原始母体的分布长什么样子！
为什么这很厉害？ 即使原始数据看起来怪异且偏态，这些“样本的平均值”却表现得相当规律。这让我们能利用常态分配的数学原理进行推论。
CLT 的性质：
- 所有样本平均数的期望值等于母体平均数：\( \mu_{\bar{x}} = \mu \)。
- 样本平均数的变异数等于母体变异数除以样本大小：\( \sigma^2_{\bar{x}} = \frac{\sigma^2}{n} \)。
- 样本平均数的标准差称为标准误 (Standard Error)。
标准误 (Standard Error)
样本平均数的标准误衡量样本平均数可能偏离真实母体平均数的程度。
公式：\( \sigma_{\bar{x}} = \frac{\sigma}{\sqrt{n}} \)
如果我们不知道母体标准差 (\( \sigma \))，我们就用样本标准差 (\( s \)) 来代替：
\( s_{\bar{x}} = \frac{s}{\sqrt{n}} \)
你知道吗？ 当样本大小 (\( n \)) 越大，标准误就越小。这很有道理：你问的人越多，对平均值的信心就越充足！
3. 点估计与置信区间
当我们进行估计时，有两种方式：
1. 点估计 (Point Estimate)：一个单一数值（例如：“我觉得平均回报是 8%”）。虽然简单，但通常很难完全精准。
2. 置信区间 (Confidence Interval)：一个数值范围（例如：“我有 95% 的把握回报介于 6% 到 10% 之间”）。
建立置信区间
任何置信区间的通用公式为：
点估计 ± (可靠系数 × 标准误)
可靠系数 (Reliability Factor) 取决于你想要的“置信水平”以及你使用的分配类型（z 或 t）。
常见的 Z 分数 (当母体变异数已知时)：
- 90% 置信水平：\( z = 1.645 \)
- 95% 置信水平：\( z = 1.960 \)
- 99% 置信水平：\( z = 2.575 \)
示例：若样本平均数为 10，标准误为 2，我们想要 95% 的置信区间：
\( 10 \pm (1.96 \times 2) = 10 \pm 3.92 \)
区间：[6.08 至 13.92]
重点总结：
置信区间越宽（例如 99% 相对于 95%），你对真实数值落在区间内的信心就越高，但范围的精确度会下降。
4. 如何选择 Z 分配与 T 分配
这是 CFA 考试常见的“陷阱题”！到底该查哪张表：Z 表还是 t 表？
当出现以下情况，请使用 t 分配：
- 母体变异数未知（现实世界中几乎总是如此）。
- 样本数很小 (\( n < 30 \))，但母体呈现常态分配。
当出现以下情况，请使用 Z 分配：
- 母体变异数已知。
- 母体变异数未知但样本数很大 (\( n \ge 30 \))。不过，许多从业者仍倾向使用 t 分配，因为它较为保守。
t 分配看起来像常态分配，但“尾部更厚 (fatter tails)”。这意味着它容许更多极端值的出现，因为我们对估计的把握度较低。随着自由度 (degrees of freedom, \( df = n - 1 \)) 增加，t 分配会变得越来越像 Z 分配。
5. 抽样偏差（那些陷阱！）
即使数学再精确，如果抽样本身有偏差，结果也会是“垃圾进，垃圾出”。以下是需要注意的偏差类型：
1. 生存者偏差 (Survivorship Bias)：只看那些至今仍在运营的公司。（忽略了那些倒闭的公司，会让平均表现看起来比实际更好！）
2. 前瞻偏差 (Look-ahead Bias)：在研究中使用了投资当时无法获得的信息。
3. 数据挖掘偏差 (Data-mining Bias)：通过不断测试不同变量直到凑出想要的结果，导致某个结果仅仅是随机巧合。
4. 时间区段偏差 (Time-period Bias)：结果仅适用于特定时间段（例如：只研究 90 年代繁荣期的科技股）。
5. 选择性偏差 (Selection Bias)：样本不具随机性（例如：一个“随机”街头访问只找穿西装的人谈话）。
速查小框：
- 标准误： \( s / \sqrt{n} \)
- CLT： 当 \( n \ge 30 \) 时，样本平均数呈现常态分配。
- t 分配： 当 \( \sigma \) 未知时使用；尾部较厚。
- 自由度： \( n - 1 \)。
结语
估计与推论是连接原始数据与实际决策之间的桥梁。别担心公式看起来很繁重，重点在于逻辑：我们抽取样本、计算平均数、针对不确定性进行调整（标准误与可靠系数），并创造出一个我们认为真值存在的区间。你做得很好，继续练习查阅 Z 表吧！
欢迎来到假设检验：金融界的“事实查核员”
各位未来的特许金融分析师（Charterholder）大家好！欢迎来到数量分析（Quantitative Methods）中最实用的章节之一。你可以将假设检验（Hypothesis Testing）视为投资领域的“科学方法”。
想象一位基金经理声称其策略能击败市场。这是真的，还是他们今年只是运气好？假设检验为我们提供了一种数学方法，用来判断一个结果是统计显著（statistically significant），还是仅仅是巧合。如果刚开始觉得数学公式很吓人，不用担心——我们会将其拆解成简单且合乎逻辑的步骤。
1. 基础概念：虚无假设 vs. 对立假设
每个检验都始于两个对立的陈述。
虚无假设（Null Hypothesis, \(H_0\)）： 这是“现状（status quo）”或我们在有足够证据推翻它之前，预设为真的陈述。它几乎总是包含“等于”符号（=、≤ 或 ≥）。
类比：在法庭上，虚无假设就是“被告是无罪的”。
对立假设（Alternative Hypothesis, \(H_a\)）： 这是研究人员真正想要证明的假设，是对“现状”的挑战。它永远不包含“等于”符号（<、> 或 ≠）。
类比：检察官的目标是证明对立假设：“被告是有罪的”。
重要法则： 我们从不“接受”虚无假设。我们只能“拒绝 \(H_0\)”（我们找到了支持 \(H_a\) 的足够证据），或是“无法拒绝 \(H_0\)”（我们没有找到足够的证据）。
重点总结：
永远寻找“等于”符号。如果一个陈述说“等于”或“至少”，它就属于 \(H_0\)；如果它说“不等于”或“大于”，它就属于 \(H_a\)。
2. 单尾检验 vs. 双尾检验
我们如何知道该从哪个方向去观察？这取决于问题本身。
双尾检验（Two-Tailed Test）： 当你想知道数值是否与假设值不同（可能是变高或变低）时使用。
例子：\(H_0: \mu = 10\%\) 对比 \(H_a: \mu \neq 10\%\)。
单尾检验（One-Tailed Test）： 当你只对单一方向（“大于”或“小于”）感兴趣时使用。
例子：\(H_0: \mu \le 0\) 对比 \(H_a: \mu > 0\)。 (我们只关心回报是否为正)。
速记技巧： 观察对立假设（\(H_a\)）中的符号。如果是 \(\neq\)，就是双尾检验；如果是 \(>\) 或 \(<\)，“箭头”指向的方向就是你要检验的尾部（tail）！
3. 检验中的错误：型一错误与型二错误
在完美的理想世界中，我们总能做出正确判断。但在统计学中，我们可能会犯两类错误：
型一错误（Type I Error）： 拒绝了真实的虚无假设。这就像是将无辜的人定罪。犯下型一错误的概率称为阿尔法 (\(\alpha\))，也称为显著水平（Level of Significance）。
型二错误（Type II Error）： 无法拒绝错误的虚无假设。这就像是放走了一个有罪的人。此错误的概率称为贝塔 (\(\beta\))。
检验力（Power of a Test）： 这是正确拒绝错误虚无假设的概率。计算公式为 \(1 - \beta\)。我们当然希望检验力越高越好！
记忆小撇步：
型一错误是“伪阳性（False Positive）”（你以为发现了什么，但其实没有）。
型二错误是“伪阴性（False Negative）”（那里确实有东西，但你错过了它）。
4. 检验统计量：我们的测量尺
为了做出决定，我们会计算一个检验统计量（Test Statistic）。本章中几乎所有检验统计量的通用公式如下：
\( \text{Test Statistic} = \frac{\text{样本统计量} - \text{假设值}}{\text{标准误}} \)
其中标准误（Standard Error）通常是样本标准差除以样本数的平方根：\( \frac{s}{\sqrt{n}} \)。
你知道吗？ 检验统计量只是告诉你，你的样本结果距离虚无假设有多少个“标准误”。距离越远，我们就越倾向于拒绝虚无假设！
5. 选择正确的检验（z-检验 vs. t-检验）
学生经常纠结于该选哪种检验。以下是简单的指南：
使用 t-检验（t-test）： 如果你不知道总体方差（这在现实世界中几乎总是如此）且使用样本标准差（\(s\)）时。
注意：对于 t-检验，你需要知道自由度（Degrees of Freedom, df），通常是 \(n - 1\)。
使用 z-检验（z-test）： 如果你确实知道总体方差（\(\sigma^2\)），或者样本量非常大时（尽管在方差未知时，技术上仍偏好使用 \(t\)）。
6. 决策：拒绝域与 P-值
得到检验统计量后，该如何决策？
方法一：临界值（Critical Values）。 将计算出的检验统计量与查表得到的“临界值”（基于你的显著水平，例如 5%）进行比较。如果你的统计量比临界值更极端，你就拒绝 \(H_0\)。
方法二：P-值（P-value）。 这是“概率”法。P-值是能够拒绝虚无假设的最小显著水平。
P-值的黄金法则：
若 P-值 < \(\alpha\)，则 拒绝 \(H_0\)。
若 P-值 ≥ \(\alpha\)，则 无法拒绝 \(H_0\)。
口诀：“If the p is low, the null must go!”（P 值低，虚无归！）
7. 方差的检验
有时我们不关心平均值（mean）；我们关心的是风险（方差）。
单一方差检验： 我们使用 卡方检验（Chi-square, \(\chi^2\) test）。
公式：\( \chi^2 = \frac{(n-1)s^2}{\sigma_0^2} \)
两个方差的比较： 我们使用 F-检验（F-test）。这在检查两只不同股票是否具有相同风险水平时很常见。
公式：\( F = \frac{s_1^2}{s_2^2} \)（请务必将较大的方差放在分子，使 \(F > 1\)）。
8. 参数检验 vs. 非参数检验
参数检验（Parametric Tests）： 这些检验（如 t-检验和 z-检验）假设数据遵循特定的分布（如正态分布），并依赖平均值和方差等参数。
非参数检验（Non-parametric Tests）： 这些是“与分布无关”的检验。我们在以下情况使用：
1. 数据不符合正态分布。
2. 数据是“排序的”（如第一名、第二名）而非具体数值。
3. 样本量非常小。
要避免的常见错误： 不要认为非参数检验“更好”。如果数据确实呈正态分布，它们的检验力其实比参数检验更弱。
9. 考前重点检查表
进入下一章前，请确保你已经掌握：
• 能从文字题目中正确识别 \(H_0\) 和 \(H_a\)。
• 区分型一错误与型二错误。
• 计算单一平均值的 t-统计量。
• 决定是否使用临界值或 P-值来拒绝 \(H_0\)。
• 识别何时该用卡方检验（单一方差）或 F-检验（两个方差）。
别担心，一开始觉得棘手是很正常的！假设检验就像学习一门新语言。一旦你熟悉了虚无假设与对立假设的“文法”，逻辑就会变得像本能一样自然。继续练习那些计算题吧！
欢迎来到独立性参数检验与无参数检验（Parametric and Non-Parametric Tests of Independence）的世界！
在你的 CFA 学习之旅中，你已经学过如何描述数据，并针对单一平均数或方差进行假设检验。但在真实的金融世界里，我们很少只单独看一件事。我们通常想了解的是：股票的表现是否与其所属行业有关？执行长的学历会影响公司回报吗？
在本章中，我们将探讨如何检验两个变量是独立的（代表两者没有关系）还是相关的（代表两者有关联）。我们将探讨两个主要工具：卡方检验（Chi-Square Test）和斯皮尔曼等级相关系数（Spearman’s Rank Correlation）。不用担心这些名字听起来很复杂——我们会一步步拆解它们！
快速回顾：「独立」是什么意思？
如果两个事件是独立的，那么其中一个事件的发生对于另一个事件的概率不会提供任何信息。例如，掷硬币的结果与伦敦的天气是独立的。然而，利率与债券价格则是相关的（dependent）。
1. 参数检验与无参数检验：宏观概览
在深入研究具体的检验方法之前，我们需要先了解统计检验的这两个「家族」。
参数检验（Parametric Tests）
这类检验对基础数据有严格的假设。通常，它们假设数据遵循某种特定分布（如常态分布），并使用诸如平均数（mean）和方差（variance）等参数。想象一下，这就像一个严格的烘焙食谱——如果你的材料不够精准，蛋糕就不会发起来。
无参数检验（Non-Parametric Tests）
这些检验更具弹性。它们不要求数据必须呈常态分布。通常在我们有小样本量、异常值（outliers），或是处理的是等级数据（ranked data）（例如「第一名、第二名」）而非精确数值时使用。把它们想象成「Taco 自助餐」——你可以随意替换配料，餐点依然美味！
关键要点：当我们的数据比较「混乱」或不符合参数检验的严格要求时，我们就会使用无参数检验。
2. 卡方（\(\chi^2\)）独立性检验
当我们有类别数据（categorical data）时，我们会使用卡方检验。这意味着数据是被分类到不同的组别或「桶子」中，而不是连续的数值。例如，将公司按产业（科技、能源、金融）和股利政策（发放股利、不发放股利）进行分类。
列联表（Contingency Tables）
为了执行此检验，我们使用列联表（也称为交叉表）。它能同时展示两个类别变量的计数（频率）。
假设（Hypothesis）
虚无假设（\(H_0\)）：两个变量是独立的（没有关系）。
对立假设（\(H_a\)）：两个变量是相关的（存在关系）。
计算检验统计量
卡方统计量衡量的是我们实际观察到的数据 (\(O\)) 与如果变量完全独立时我们预期会看到 (\(E\)) 的数据之间的差异。
公式为：
\( \chi^2 = \sum \frac{(O - E)^2}{E} \)
逐步流程：
1. 计算期望值 (\(E\))： 对于表格中的每个格子，使用这个技巧：
\( E = \frac{(\text{列总计} \times \text{行总计})}{\text{总计}} \)
2. 求出差异： 对于每个格子，用实际观察值减去期望值 (\(O - E\))。
3. 平方并相除： 将差异平方后，除以期望值。
4. 加总： 将所有格子的计算值加在一起，即可得到你的 \(\chi^2\) 统计量。
自由度（Degrees of Freedom, \(df\)）
对于卡方独立性检验，自由度的计算方式为：
\( df = (r - 1) \times (c - 1) \)
其中 \(r\) 是列数，\(c\) 是行数。
你知道吗？ 卡方分布总是正值，且向右偏斜。随着自由度增加，它会看起来越来越像常态分布！
关键要点： 如果计算出的 \(\chi^2\) 远大于表格中的「临界值」，我们就会拒绝虚无假设，并推论这些变量之间存在关系。
3. 斯皮尔曼等级相关系数（Spearman’s Rank Correlation, \(r_s\)）
有时候我们想知道关系的强度，但我们的数据是顺序型的（ordinal/ranked），或者包含了会破坏标准相关系数计算的极端异常值。这时候就是斯皮尔曼等级相关系数出场的时候了。
类比： 想象两位评审在选秀节目中给 10 位参赛者排名。即使评审给出的确切分数不同，但如果他们都同意参赛者 A 比参赛者 B 优异，那么他们的排名就是相关的。
为什么要用它？
- 它是皮尔逊（Pearson）相关系数的无参数替代方案。
- 当数据是非线性但仍遵循某种趋势（单调）时使用。
- 它对于异常值具有稳健性（robust），因为它看的是数据的顺序，而非实际数值。
计算方式：
1. 将两个变量的数据分别从小到大（或从大到小）进行排名。
2. 计算每一对排名之间的差异 (\(d_i\))。
3. 使用公式：
\( r_s = 1 - \frac{6 \sum d_i^2}{n(n^2 - 1)} \)
解读结果：
\(r_s\) 的值永远介于 -1 到 +1 之间。
- +1： 完美的正等级相关（当一个排名上升，另一个也总是上升）。
- -1： 完美的负等级相关。
- 0： 排名之间没有关系。
常见错误： 别忘了分子里的「6」！无论你的样本量是多少，这都是公式中的常数。
关键要点： 当你的数据不呈常态分布，或是处理的是排名而非原始测量数据时，斯皮尔曼等级相关系数是你的首选工具。
4. 何时使用无参数检验？（快速指南）
在 CFA 考试中，你可能会被要求辨识何时使用无参数检验比参数检验更合适。请记住这四种情境：
- 数据是类别型的： 当你是在计算「桶子」里的数量时，使用卡方检验。
- 数据是顺序型的（有排名的）： 使用斯皮尔曼等级相关系数。
- 样本量小： 当样本过小，无法假设其为常态分布时。
- 存在极端异常值： 当几个异常数据点会将平均数或相关系数拉向某一极端时。
如果起初觉得这些很棘手，别担心！ 只要记住：参数检验 = 精确/严格，无参数检验 = 排名/弹性。
总结与快速回顾栏
卡方检验： 使用列联表检验两个类别变量之间的独立性。使用 \(df = (r-1)(c-1)\)。
斯皮尔曼等级相关： 衡量排名数据之间关系的强度。范围从 -1 到 +1。
独立性： 虚无假设通常指出没有关系。如果我们的检验统计量很高，我们就「开除」（拒绝）虚无假设！
测试你的理解：
如果你正在比较「分析师评级」（买入/持有/卖出）与「行业」（科技/零售），你会使用哪种检验？
答案： 卡方独立性检验（因为这些都是类别！）。