基于LDA模型和HowNet的多粒度子话题划分方法

• 作者: 巴志超 李湘东 黄莉
• 来源期刊: 计算机应用研究
• 关键词: 新闻报道 子话题划分 多粒度 狄利克雷分配模型 语义相似度计算
• 年，卷（期）: 2015,（6）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 1625-1629
• 页数: 5页
• 分类号: TP391.4
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2015.06.006

摘要

针对LDA建模结果较泛化、子话题间文本相似度较高等问题,提出一种基于狄利克雷分配模型(LDA)和知网(HowNet)语义词典相结合的多粒度子话题划分方法(MGH-LDA).首先采用LDA模型对不同新闻源的新闻集合进行初划分,并根据文档贡献度获得相同新闻话题的文档集合;其次在TF-IDF模型基础上获取多粒度粗细特征,作为核心词特征集合来表征新闻文档,采用知网语义词典来计算新闻文档之间的相似度;最后通过single-pass增量聚类算法进行新闻文档的聚类,实现子话题划分.通过在真实新闻数据集上的实验,验证了该方法能有效地提高热点新闻话题子话题划分的准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李湘东	武汉大学信息管理学院	37	187	8.0	13.0
5	巴志超	武汉大学信息管理学院	35	261	10.0	15.0