高斯混合模型 (GMM)

定义

高斯混合模型(Gaussian Mixture Model,GMM)假设数据由 K 个高斯分布按一定混合系数加权叠加生成,每个分量有自己的均值向量与协方差矩阵。它既是密度估计工具,也是一种基于概率的软聚类方法。

原理

参数估计通常采用 EM 算法:E 步计算每个样本属于各高斯分量的后验概率(响应度),M 步据此加权更新各分量的均值、协方差与混合系数。与 K-means 输出的硬性归属不同,GMM 给出样本属于每个簇的概率,且允许簇呈椭圆形、大小各异。事实上,K-means 可视为协方差趋于零时 GMM 的特例。

应用

GMM 曾长期用于说话人识别与语音识别的声学建模(GMM-HMM 框架),也用于图像背景建模、异常检测。

局限

分量数 K 需预先指定(可用 BIC/AIC 选择),对初始化敏感,高维数据下协方差估计困难。