自然语言处理中主题模型的发展

• 作者: 徐戈 王厚峰
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 自然语言处理 主题模型 隐性语义索引 LDA 期望最大化算法 Gibbs采样
• 年，卷（期）: 2011,（8）
• 所属期刊栏目: 综论
• 页码范围: 1423-1436
• 分类号: TP391
• 字数: 13404字
• 语种: 中文
• DOI: 10.3724/SP.J.1016.2011.01423

摘要

主题模型在自然语言处理领域受到了越来越多的关注.在该领域中,主题可以看成是词项的概率分布.主题模型通过词项在文档级的共现信息抽取出语义相关的主题集合,并能够将词项空间中的文档变换到主题空间,得到文档在低维空间中的表达.作者从主题模型的起源隐性语义索引出发,对概率隐性语义索引以及LDA等在主题模型发展中的重要阶段性工作进行了介绍和分析,着重描述这些工作之间的关联性.LDA作为一个概率生成模型,很容易被扩展成其它形式的概率模型.作者对由LDA派生出的各种模型作了粗略分类,并选择了各类的代表性模型简单介绍.主题模型中最重要的两组参数分别是各主题下的词项概率分布和各文档的主题概率分布,作者对期望最大化算法在主题模型参数估计中的使用进行了分析,这有助于更深刻理解主题模型发展中各项工作的联系.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王厚峰	北京大学计算语言学研究所北京大学计算语言学教育部重点实验室	32	1161	12.0	32.0
2	徐戈	北京大学计算语言学研究所北京大学计算语言学教育部重点实验室	1	339	1.0	1.0