线性判别分析 (LDA)

定义

线性判别分析(Linear Discriminant Analysis,LDA)源自统计学家 Fisher 于 1936 年提出的判别方法,是一种有监督的降维与分类技术。注意它与主题模型中的潜在狄利克雷分配(Latent Dirichlet Allocation)缩写相同但完全不同。

原理

LDA 寻找一组投影方向,使投影后类间散度(不同类别中心的距离)尽可能大、类内散度(同类样本的离散程度)尽可能小,即最大化广义瑞利商。求解归结为对类内散度矩阵之逆与类间散度矩阵乘积做特征分解。对 K 类问题,最多可降到 K-1 维。

与 PCA 对比

PCA 无监督、追求方差最大;LDA 有监督、追求可分性最大,二者常结合使用(先 PCA 去噪再 LDA 判别)。

应用与局限

经典应用包括人脸识别中的 Fisherfaces。其假设各类近似同协方差的高斯分布,类别严重非线性可分时效果受限。