EM 算法(期望最大化)

定义

期望最大化算法(Expectation-Maximization,EM)由 Dempster、Laird 和 Rubin 于 1977 年系统提出,用于求解含隐变量(latent variable)或缺失数据的概率模型的极大似然估计。

原理

算法交替执行两步:E 步(期望步)基于当前参数计算隐变量的后验分布,构造对数似然的期望,即 Q 函数;M 步(最大化步)求使 Q 函数最大的新参数。每次迭代保证观测数据的似然单调不减,最终收敛到局部极大值。其本质是通过不断抬高似然函数的下界来间接优化似然本身。

应用

EM 是高斯混合模型聚类、隐马尔可夫模型训练(Baum-Welch 算法)、缺失数据填补、概率主题模型推断等任务的基础工具。

局限

结果依赖初始值,只能保证局部最优,收敛速度在后期可能较慢,实践中常多次随机初始化取最优。