主成分分析 (PCA)

定义

主成分分析(Principal Component Analysis,PCA)是最经典的线性降维方法,可追溯至 Pearson(1901)与 Hotelling(1933)的工作。它将原始特征正交变换为一组按方差从大到小排列的新坐标轴(主成分),保留前若干个即可用低维表示逼近原数据。

原理

对中心化后的数据求协方差矩阵,其特征向量给出主成分方向,特征值对应各方向上的方差;等价地也可通过对数据矩阵做奇异值分解(SVD)求得,数值上更稳定。降维时按累计方差贡献率(如 95%)选择保留的成分数。

应用

PCA 常用于高维数据可视化、特征去相关与压缩、图像处理(如经典的特征脸 Eigenfaces 人脸识别)以及建模前的降噪预处理。

局限

只能捕捉线性结构,对特征量纲敏感(通常需先标准化),且主成分是原特征的线性组合,可解释性有限。