基于重叠度与完整度的LDA主题优选方法

• 作者: 曾剑平 柏志安
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: LDA模型 TF-IDF 主题识别 重叠度 完整度
• 年，卷（期）: 2019,（12）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 155-161
• 页数: 7页
• 分类号: TP274
• 字数: 6857字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1803-0259

摘要

以LDA为基础的许多主题模型能够从一定数量的文本中推断出主题个数及主题描述,其存在的问题是主题个数难于确定,也难于决定描述每个主题的特征词汇.针对这个问题,结合LDA与TF-IDF量化的效果,同时考虑对原文本集的涵盖程度以及主题间的独立性,提出了一种Overlap-Completeness得分法的主题区分度优选方法.该方法在LDA建模的基础上,利用TF-IDF获取主题最具代表性的词汇,定义主题词汇间的重叠度、表达的完整度,给出了主题优选的评价方法.最终不仅能得到最佳主题数目,而且还能得到每个主题的最合适的描述词汇.在信息安全新闻文本集上进行了实验研究,结果表明该方法与基本的LDA模型相比,更能选择出有区分度的主题和有代表性的词汇.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	柏志安	上海交通大学医学院附属瑞金医院计算机中心	9	36	3.0	6.0
2	曾剑平	复旦大学计算机科学技术学院	17	145	5.0	12.0