欢迎来到主成分分析(PCA)的世界!

你好!如果你曾面对包含数十个变量的大型数据集而感到不知所措,那么你来对地方了。在非监督式学习(Unsupervised Learning)的世界里,主成分分析(Principal Components Analysis, PCA)就像一种超能力,让你能够将复杂的数据浓缩成几个关键的“主题”。

在本章中,我们不只是进行计算,更重要的是学会诠释(interpret)这些计算结果告诉我们关于数据的资讯。读完这些笔记后,你将能够解释什么是“载荷(loading)”、为什么标准化(scaling)如此重要,以及如何解读那些看似复杂的双标图(Biplots)。让我们开始吧!


1. PCA 的“食谱”:理解载荷(Loadings)

想象一下你正在描述一个人的健康状况。你拥有关于体重、身高、血压和心率的数据。与其分开查看每个数值,你可能想创造一个单一的“健康指数(Fitness Score)”。这个指数就是一个主成分(Principal Component, PC)

我们如何建立这个指数?我们使用载荷(Loadings)

关键术语:载荷(\(\phi\))
载荷告诉我们每个原始变量对特定主成分的贡献程度。把它们想象成食谱中的“配料”。如果一个变量的载荷很高(接近 1 或 -1),它就是该主成分中非常重要的一部分。如果接近 0,则表示该变量对这个主成分影响不大。

载荷向量(Loading Vector):
对于第一个主成分(PC1),载荷向量表示为:
\( \phi_{1} = (\phi_{11}, \phi_{21}, ..., \phi_{p1}) \)

重要限制:
为了公平起见,单一主成分的所有载荷平方和必须等于 1:
\( \sum_{j=1}^{p} \phi_{j1}^2 = 1 \)
这确保了算法不会仅仅为了“制造”高方差而将载荷无限放大。

重点总结:载荷告诉我们每个变量在构建主成分时的方向重要性


2. “新的坐标”:理解得分(Scores)

一旦我们有了“食谱”(载荷),我们将其应用到实际数据点上。结果就是得分(Score)

关键术语:主成分得分(Principal Component Scores, \(z\))
得分是特定观测值在特定主成分上的数值。如果 PC1 代表“整体体型”,那么大象的得分会非常高,而老鼠的得分则会非常低。

公式:
对于观测值 \(i\),第一个主成分的得分为:
\( z_{i1} = \phi_{11}x_{i1} + \phi_{21}x_{i2} + ... + \phi_{p1}x_{ip} \)

如果这看起来有点难别担心! 只要记住:载荷定义了主成分,而得分则是将个别数据点转换成该主成分的“语言”。


3. 为什么标准化(Scaling)是必要步骤

这是考试中非常热门的主题!在进行 PCA 之前,我们几乎总是要对变量进行标准化(scale),使其平均数为 0,标准差为 1。

为什么?
PCA 非常看重方差(variance)。如果一个变量以“日元”(数千)计量,而另一个以“百分比”(0 到 1)计量,仅因为数字较大,日元变量的方差就会大得多。PCA 会误以为日元变量是世界上最重要的东西,即便事实并非如此!

应避免的常见错误:
除非所有变量原本就已经在相同的单位下(例如全部都是厘米),否则千万不要跳过标准化。如果单位不同,一定要标准化!

快速回顾:
- 未标准化:具有大单位的变量会主导结果。
- 标准化:每个变量都能获得“公平的发言权”。


4. PCA 可视化:双标图(Biplot)

双标图(Biplot)是一种同时显示得分(Scores)载荷(Loadings)的特殊图表。这就像是买一送一的超值组合!

如何解读:
1. 点(Dots):代表个别观测值(得分)。距离接近的点表示彼此相似。
2. 箭头(Vectors):代表原始变量(载荷)。
3. 方向:如果两个箭头指向相同方向,表示这些变量呈现正相关;如果指向相反方向,则呈现负相关。
4. 长度:较长的箭头表示该变量对图中显示的主成分有更强的影响力。

你知道吗? 双标图的坐标轴通常是 PC1(x 轴)和 PC2(y 轴)。PC1 永远比 PC2 捕捉到更多的资讯。


5. 解释方差比例(PVE)

既然 PCA 的核心目的是在保留尽可能多资讯的前提下压缩数据,我们需要一种方法来衡量保留了多少资讯。这就是 PVE(Proportion of Variance Explained)

总方差(Total Variance):这是所有个别变量方差的总和(如果我们进行了标准化,总方差通常等于变量的个数 \(p\))。
第 \(m\) 个主成分的 PVE:
\( PVE_m = \frac{Variance \, explained \, by \, PC_m}{Total \, Variance} \)

碎石图(Scree Plot):
这是一个显示每个主成分 PVE 的简易条形图或折线图。通常它看起来像一个滑梯:左侧高,随着向右延伸而下降。
- “肘部”法则(Elbow Method):为了决定保留多少主成分,寻找下降趋势变平缓的那个点(即“肘部”)。这是选择主成分个数的常用经验法则。

记忆口诀:将 PVE 想象成“获得的能量值(Power Value Earned)”。你希望用最少的主成分获得最多的“能量”(方差)。


6. 总结与最后建议

重点总结:
- PC1 是数据变化最剧烈的方向。
- 载荷定义方向;得分则是投影后的数据点。
- 标准化对于确保单位不会干扰结果至关重要。
- 碎石图通过“肘部”帮助我们选择主成分的个数。
- PCA 是一种非监督式技术——没有“y”变量,也没有我们试图预测的“正确答案”。

备考小撇步:如果看到关于 PCA 诠释的题目,首先检查变量是否经过标准化。接着,观察双标图中的箭头,看看哪些变量会“一起移动”。如果 PC1 解释了 70% 的方差,而 PC2 解释了 20%,那么你仅用两个主成分就捕捉到了 90% 的资讯!

继续努力练习——你做得很好!PCA 是那种在看过几个例子后,就会突然“开窍”的课题。