基于LDA的新闻话题子话题划分方法

• 作者: 刘培玉 赵爱华 郑燕
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: 潜在狄利克雷分布(LDA) 子话题划分 主题特征词 KL距离 相似度计算
• 年，卷（期）: 2013,（4）
• 所属期刊栏目: 计算机网络与通信技术
• 页码范围: 732-737
• 页数: 6页
• 分类号: TP393
• 字数: 7533字
• 语种: 中文

摘要

针对目前网络热点新闻话题中存在的难以区分一个话题下的多个子话题现象,提出一种基于LDA模型的子话题划分方法.首先应用LDA模型对新闻文档进行建模,采用贝叶斯标准方法确定最优主题个数,使LDA模型拟合文档性能达到最佳；其次针对子话题间文本相似度较高的特点,引入主题特征词相关性分析,采用改进的KL距离公式,计算新闻文档之间相似度,有效区分了文档内容相似但话题重点不同的报道；最后通过single-pass增量聚类算法进行文档聚类,实现子话题划分.实验验证了改进后的相似度计算方法的有效性,实验结果表明该方法能够有效地提高热点新闻话题子话题划分的准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘培玉	山东师范大学信息科学与工程学院	126	1276	18.0	27.0
5	赵爱华	山东师范大学信息科学与工程学院	2	38	2.0	2.0
9	郑燕	山东师范大学信息科学与工程学院	2	38	2.0	2.0