基于粒子群优化的文档子内容查重算法

• 作者: 叶庆卫 周宇 武冬星 王晓东
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 查重 相似度函数 粒子群优化 评估函数 字符串
• 年，卷（期）: 2011,（20）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 203-205
• 分类号: TP391.1
• 字数: 2952字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2011.20.070

摘要

现存的文档相似性算法虽然能够获得2篇文档的相似度,但不能判断出重复或最相似子内容的位置.为此,提出一种基于粒子群优化(PSO)的文档内部子内容的查重算法.利用PSO方法查找2篇文档中最佳相似子内容的位置和长度,设计一种相关函数来判断字符串之间的相似程度,从而得到粒子群的评估函数.测试表明,该查重算法能够快速准确地确定出重复或最相似子内容的位置与长度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	叶庆卫	宁波大学信息科学与工程学院	59	420	10.0	18.0
2	周宇	宁波大学信息科学与工程学院	72	316	9.0	13.0
3	王晓东	宁波大学信息科学与工程学院	91	377	9.0	15.0
4	武冬星	宁波大学信息科学与工程学院	2	1	1.0	1.0