欢迎来到大数据项目的世界！
你好！既然你能来到 CFA Level II，你一定已经知道数据是现代金融的生命线。在本章中，我们将超越简单的电子表格，深入探讨大数据项目 (Big Data Projects) 的结构化工作流程。你可以把这部分内容看作是一份“说明书”，教导投资公司如何将原始、混乱的数据转化为具备可操作性的投资信号。别担心自己不是计算机科学家——我们将运用逻辑和生活化的类比，一步步为你拆解其中的奥秘。
1. 大数据项目生命周期
大数据项目不仅仅是“计算数据”，它遵循一个特定且合乎逻辑的顺序。如果你跳过了某个步骤，整个分析可能会功亏一篑。想象一下烘焙一个复杂的蛋糕：如果你没有正确准备材料，那么烤箱再高级也没用！
标准的工作流程包含以下五个主要步骤：
1. 构思项目 (Conceptualizing)： 定义问题。
2. 数据收集 (Data Collection)： 收集原始素材。
3. 数据准备/整理 (Data Wrangling)： 清理并组织数据。
4. 模型构建 (Model Building)： 真正的“机器学习”部分。
5. 模型评估 (Model Evaluation)： 检查结果是否有实用价值。
小贴士： 数据准备通常占据数据科学家 80% 的时间。在 CFA 考试中，请务必留意关于清理数据的步骤！
2. 第 1 & 2 步：构思与数据收集
在接触任何数据之前，你必须先问自己：“我到底要解决什么问题？”你是要预测股价？还是要检测欺诈交易？当目标确定后，你才能开始收集数据。
数据来源类型
在大数据项目中，我们主要处理两种类型的数据：
- 结构化数据 (Structured Data)： 想象成标准的 Excel 表格，它有明确的行和列（例如：历史股价、市盈率 P/E Ratio）。
- 非结构化数据 (Unstructured Data)： 这是像新闻文章、社交媒体贴文或企业财报电话会议记录这类“混乱”的数据。这通常需要使用自然语言处理 (NLP) 来进行理解。
关键点： 任何项目的基础都是清晰的目标和多元且可靠的数据来源。
3. 第 3 步：数据准备（“清理”阶段）
原始数据几乎总是“脏”的。它包含了错误、缺失值和异常值。我们使用数据整理 (Data Wrangling) 或预处理来修复这些问题。
A. 处理缺失数据
如果出现数据缺失，你通常有两种选择：
- 剔除 (Exclusion)： 直接删除该行。（要小心！如果你删除太多数据，会损失重要信息）。
- 填补 (Imputation)： 使用逻辑推断来填补空缺，例如使用其他数据点的平均值 (Mean) 来填补。
B. 处理异常值 (Outliers)
异常值是会扭曲模型的极端数值。你可以采取：
- 截尾 (Trim)： 直接删除数据中最高和最低的 1%。
- 缩尾处理 (Winsorize)： 不删除异常值，而是将其限制在某一百分位数内（例如，将第 99 百分位数的数值改为第 95 百分位数的数值）。
C. 缩放与标准化
想象一下，如果要比较股价（$2,000）和股息收益率（0.02）。模型可能会因为股价的数值较大而误认为它“更重要”。为了修正这个问题，我们会对数据进行缩放：
- 最小-最大缩放 (Min-Max Scaling)： 将所有数据压缩到 0 到 1 之间。
- 标准化 (Standardization)： 将数据进行中心化处理，使其平均值为 0，标准差为 1。
助记词： S.O.M. (Scale 缩放, Outliers 异常值, Missing 缺失值)。当有人问你如何准备数据时，记住这三个重点！
4. 第 4 步：模型构建
现在进入“AI”部分。我们将数据分为两组：
1. 训练集 (Training Set)： 模型用来“学习”模式的数据。
2. 测试集 (Test Set)： 用于检查模型是否真正有效的全新数据。
常见错误： 数据泄漏 (Data Leakage)。 如果测试集中的信息“泄漏”到了训练集中，就会发生这种情况。这就像学生在考试前偷看了答案一样——他们可能会拿到 100 分，但实际上并没有真正学到任何东西！
欠拟合 (Underfitting) 与 过拟合 (Overfitting)
- 欠拟合： 模型过于简单（高偏差/High Bias）。它无法捕捉到数据趋势。
- 过拟合： 模型过于复杂，记住了训练数据中的“杂讯”（高方差/High Variance）。它在训练数据上表现完美，但在处理真实世界的数据时却一败涂地。
关键点： 我们追求的是“恰到好处”的模型——既不过于简单，也不过于复杂，而是刚刚好（低偏差且低方差）。
5. 第 5 步：模型评估（衡量成功）
我们如何知道模型是否好用？对于分类任务（如“买入”对比“卖出”），我们会使用混淆矩阵 (Confusion Matrix)。
想象一个预测公司是否会破产的模型：
- 真阳性 (TP)： 预测会破产，且确实发生了。（正确！）
- 真阴性 (TN)： 预测不会破产，且确实没发生。（正确！）
- 伪阳性 (False Positive - 第一类错误/Type I Error)： 预测会破产，但公司运作良好。（误报）
- 伪阴性 (False Negative - 第二类错误/Type II Error)： 预测运作良好，但公司却破产了。（这是最危险的错误！）
必须背诵的关键指标：
1. 精确率 (Precision)： 在所有预测为“阳性”的案例中，有多少是正确的？
\( Precision = \frac{TP}{TP + FP} \)
2. 召回率 (Recall / Sensitivity)： 在所有实际为阳性的案例中，我们抓住了多少？
\( Recall = \frac{TP}{TP + FN} \)
3. 准确率 (Accuracy)： 总预测正确的百分比。
\( Accuracy = \frac{TP + TN}{Total} \)
4. F1 分数 (F1 Score)： 精确率和召回率的调和平均数。当数据存在不平衡 (Imbalanced data) 时（例如：99% 的公司不会破产，只有 1% 会破产），请务必使用此指标。
你知道吗？ 高准确率往往具有欺骗性！如果 99% 的公司都是健康的，一个“笨”模型只要预测所有人“都不会破产”，就能获得 99% 的准确率，但它完全无法找出那 1% 会失败的公司。这就是为什么我们需要 F1 分数。
6. 可视化性能：ROC 和 AUC
对于二元分类，我们常使用受试者工作特征曲线 (ROC curve)。
- 它绘制了真阳性率 (Recall) 对比 伪阳性率 的关系。
- 曲线下面积 (AUC) 告诉我们模型区分不同类别的能力。
- AUC 为 1.0 是完美的。AUC 为 0.5 代表模型就像抛硬币一样随机猜测。
摘要与最后复习
- 工作流程： 构思 (Concept) -> 收集 (Collect) -> 准备 (Prepare) -> 构建 (Build) -> 评估 (Evaluate)。
- 数据整理： 修复缺失值和进行数据缩放对于确保“公平”的比较至关重要。
- 过拟合： 机器学习的死敌。当模型过于灵活时就会发生。
- 指标： 不要只相信准确率。要同时看精确率（避免误报）和召回率（确保不遗漏目标）。
- 不平衡数据： 当“阳性”事件极少发生时，请务必查看 F1 分数或 AUC。
如果精确率和召回率的公式初看令人困惑，别担心。只需记住：精确率 (Precision) 是关于“精确”（当你说“是”的时候，不要出错），而召回率 (Recall) 是关于“召回”或“寻找”所有存在的目标！