LDA 主题模型

定义

潜在狄利克雷分配(Latent Dirichlet Allocation,LDA)是 Blei、Ng 和 Jordan 于 2003 年提出的生成式概率主题模型,用于从文档集合中无监督地发现潜在主题结构。

原理

LDA 假设每篇文档是若干主题的混合,每个主题是词表上的一个多项分布,文档的主题比例和主题的词分布均以狄利克雷分布为先验。生成过程为:为文档采样主题分布,再为每个词位置采样一个主题并从该主题的词分布中采样词。推断常用吉布斯采样或变分推断。

应用

LDA 广泛用于文本聚类、语料浏览、舆情主题发现、推荐系统和学术文献分析,输出的主题以高概率词列表呈现,便于人工解读。

局限

主题数需预先指定,主题可解释性依赖调参,且基于词袋假设忽略词序;在短文本上稀疏性问题明显。近年部分场景被基于嵌入的 BERTopic 等方法取代。