语义分析与词频统计相结合的中文文本相似度量方法研究

• 作者: 华秀丽 朱巧明 李培峰
• 来源期刊: 计算机应用研究
• 关键词: 向量空间模型 语义分析 词频 概率分布 文本相似度
• 年，卷（期）: 2012,（3）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 833-836
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2012.03.008

摘要

基于统计的文本相似度量方法大多先采用TF-IDF方法将文本表示为词频向量,然后利用余弦计算文本之间的相似度.此类方法由于忽略文本中词项的语义信息,不能很好地反映文本之间的相似度.基于语义的方法虽然能够较好地弥补这一缺陷,但需要知识库来构建词语之间的语义关系.研究了以上两类文本相似度计算方法的优缺点,提出了一种新颖的文本相似度量方法,该方法首先对文本进行预处理,然后挑选TF-IDF值较高的词项作为特征项,再借助HowNet语义词典和TF-IDF方法对特征项进行语义分析和词频统计相结合的文本相似度计算,最后利用文本相似度在基准文本数据集合上进行聚类实验.实验结果表明,采用提出的方法得到的F-度量值明显优于只采用TF-IDF方法或词语语义的方法,从而证明了提出的文本相似度计算方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱巧明		73	684	14.0	22.0
2	李培峰		60	461	11.0	19.0
3	华秀丽	苏州大学计算机科学与技术学院	2	76	2.0	2.0