基于隐含语义分析的在线新闻话题发现方法

• 作者: 张宇晨 武高敏 韩京宇
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 话题发现 向量空间模型 隐含语义分析 文本聚类 奇异值分解
• 年，卷（期）: 2016,（9）
• 所属期刊栏目: 应用开发研究
• 页码范围: 1-7
• 页数: 7页
• 分类号: TP181
• 字数: 8146字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2016.09.001

摘要

互联网的飞速发展和海量数据的不断增长，使得如何快速、有效地识别当前新闻热点信息成为迫切需求。在线新闻话题发现已成为当前研究热点。对于在线环境下的新闻文本特征表示，传统向量空间模型随着数据的增长向量维度不断增长，使得数据稀疏和同名异议问题愈加明显，导致文本相似度难以准确度量。使用基于特征加权的隐含语义分析将高维、稀疏的词-文档矩阵映射到隐藏的k维语义空间，充分挖掘词、文档之间的语义信息，以提高同主题文档间的语义相似度，克服在线环境下文本稀疏性和同名异议问题。此外，对于不断增长的大规模新闻数据，传统聚类算法存在时间复杂度过高或者输入依赖等问题，难以快速、有效地得到理想结果。基于新闻报道在时间上的顺序性和相关性，提出改进的Single-pass在线增量聚类算法检测话题类，并引入话题热度值的概念来筛选当前关注度较高的热点话题。实验结果表明，该方法能够有效提高话题检测的准确率，实现基于真实新闻数据集的在线话题捕捉。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	韩京宇	南京邮电大学计算机学院	21	87	6.0	8.0
5	武高敏	南京邮电大学计算机学院	1	10	1.0	1.0
6	张宇晨	南京邮电大学计算机学院	1	10	1.0	1.0