结合统计和词间关系的文本关键词计算方法

• 作者: 李朝锋 石雁
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 文本特征 相似计算 互信息 SimHash 特征提取 文本去重
• 年，卷（期）: 2015,（12）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 22-27
• 页数: 6页
• 分类号: TP301
• 字数: 5429字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2015.12.006

摘要

在中文文本相似去重中的关键词计算和提取阶段,文本分词后,存在高维、稀疏和缺乏语义词项,而这些大多没有实际意义的词会给计算带来噪音,不利于文本去重. 为此,需要提取文本特征,使该特征能够表示文本的主要内容. 针对此问题,提出了一种结合词频、词项间互信息关联度及其语义相似度的改进的关键词提取方法. 该方法综合考虑候选词的统计特征、词项间的相关度和相似度,并将此方法应用于SimHash文本相似计算模型中. 实验结果表明,基于该模型的特征提取在相似文本去重计算上有着较高的准确率、召回率和F1 值,优于传统方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李朝锋	江南大学物联网工程学院	48	430	12.0	19.0
2	石雁	江南大学物联网工程学院	3	9	2.0	3.0