奇异值分解 (SVD)

定义

奇异值分解(Singular Value Decomposition,SVD)是线性代数中的基本矩阵分解:任意 m×n 实矩阵 A 都可分解为 A=UΣVᵀ,其中 U、V 为正交矩阵,Σ 为对角线上按降序排列非负奇异值的对角矩阵。

性质

保留前 k 个最大奇异值得到的截断 SVD,是所有秩 k 矩阵中对 A 的最优低秩逼近(Eckart-Young 定理),这一性质使 SVD 成为数据压缩与降维的理论基础。

在机器学习中的应用

PCA 可通过对中心化数据矩阵做 SVD 实现;潜在语义分析(LSA)用截断 SVD 挖掘词-文档矩阵的语义结构;推荐系统中对用户-物品评分矩阵做低秩分解以预测缺失评分(Netflix Prize 竞赛使这类方法广为流行);此外还用于图像压缩、去噪和求解最小二乘问题。

局限

完整 SVD 计算复杂度较高,大规模场景常改用随机化 SVD 或交替最小二乘等近似方法。