一种基于LDA的k话题增量训练算法

• 作者: 杨静 谢志强 辛宇
• 来源期刊: 吉林大学学报（工学版）
• 学科: 工学
• 关键词: 人工智能 LDA 变分推理 增量训练 话题分类 自然语言处理
• 年，卷（期）: 2015,（4）
• 页码范围: 1242-1252
• 页数: 11页
• 分类号: TP391.4
• 字数: 5076字
• 语种: 中文
• DOI: 10.13229/j.cnki.jdxbgxb201504032

摘要

由于LDA模型需要预先给定话题个数k,因此在进行最优话题个数k选取时需要对语料库进行k值循环计算,从而加剧了算法的复杂度.针对LDA模型的最优k值选取问题,提出LDA话题增量训练算法.该方法首先以词-话题概率熵值作为LDA迭代过程中模糊单词的选取标准,并将抽取模糊单词归入新话题;其次,增加LDA变分推理过程中全局参数β(单词-话题概率矩阵)和α(狄利克雷分布参数)的维数及话题个数k;再次,将变换后的全局参数β、α和k作为输入进行变分训练;最后,循环调用LDA话题增量训练算法并在似然函数值收敛时停止循环过程,完成k的增量训练.此外,通过对真实数据集的实验分析验证了本文算法对最优k值选取的有效性和可行性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨静	哈尔滨工程大学计算机科学与技术学院	178	2073	24.0	37.0
2	辛宇	哈尔滨工程大学计算机科学与技术学院	21	175	7.0	13.0
3	谢志强	哈尔滨理工大学计算机科学与技术学院	62	725	15.0	23.0