一种高效的文本查重算法在电子商务中的应用

• 作者: 刘利俊 吴达胜
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 查重 算法 电子商务
• 年，卷（期）: 2009,（1）
• 所属期刊栏目: 应用技术与研究
• 页码范围: 197-199
• 页数: 3页
• 分类号: TP3
• 字数: 2306字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386X.2009.01.073

摘要

研究一种高效的文本信息查重算法,对电子商务网站的相似信息进行自动归类排序,大幅度提高信息审核效率与正确性.测试表明,信息数量在100-1000条时,该算法十分有效,1000条的文本信息相互比较可控制在2秒之内.信息数量超过1000条后,计算时间会大幅度上升.可通过调整算法中相关参数来调整精度.对于过短信息(少于10个字),可将本算法与Levenshtein算法相结合,以提高该文本信息查重算法的灵活性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘利俊	杭州广播电视大学网络中心	10	18	2.0	4.0