基于Hadoop平台的文本相似度检测系统的研究

• 作者: 王小林 肖慧 邰伟鹏
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 文本相似度 语义 Map/Reduce框架 TFIDF算法 TFIDFWGE算法
• 年，卷（期）: 2015,（8）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 90-93
• 页数: 4页
• 分类号: TP391
• 字数: 3526字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2015.08.019

摘要

在现有的文本相似度计算方法中,获取关键词权值的TFIDF算法没有完全考虑到关键词在文本中的位置和其在文本库中的离散度对权值的影响,且当处理的文本库中信息量过大时,运行效率较低。针对上述问题,文中提出一种基于语义的信息熵与信息增益的TFIDF算法( TFIDFWGE )。该算法通过对给定的关键词添加位置权重与计算熵值和信息增益,得到关键词的最终权值,并利用Hadoop平台的Map/Reduce框架来实现TFIDFWGE算法和向量空间模型( VSM)的文本相似度计算过程。通过对两组真实的数据集进行的实验结果表明,与现有的TFIDF算法相比,TFIDFWGE算法的查全率和查准率更高,且在Hadoop平台上实现的文本相似度检测系统对信息量大的文本库处理效率更加高效。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邰伟鹏	安徽工业大学计算机与技术学院	33	160	7.0	11.0
2	王小林	安徽工业大学计算机与技术学院	49	389	10.0	19.0
3	肖慧	安徽工业大学计算机与技术学院	1	10	1.0	1.0