近似镜像网页去重方法研究

• 作者: 史有群 陈剑 陶然
• 来源期刊: 电气工程与自动化：中英文版
• 学科: 工学
• 关键词: 近似镜像网页 Simhash 长句提取 噪声规避
• 年，卷（期）: 2016,（2）
• 页码范围: 56-61
• 页数: 6页
• 分类号: TP393.092

摘要

因特网上大量近似镜像网页的存在已经成为人们快速获取有效讯息的最大阻碍.为了解决网络上存在大量近似镜像网页的问题,研究人员提出了多种网页去重算法,但这些算法在网页噪声抵抗方面的表现并不令人满意.针对此问题,本文提出一种基于Simhash的长句提取近似镜像网页去重算法,通过提取文档中的长句规避网页噪声,减弱噪声对于算法的不利影响.通过对互联网上的网页信息进行去重实验表明,改进算法能有效减弱噪声影响,具有较高的准确率与召回率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	史有群	东华大学计算机科学与技术学院	23	156	8.0	12.0
2	陈剑	东华大学计算机科学与技术学院	4	14	3.0	3.0
3	陶然	东华大学计算机科学与技术学院	18	123	7.0	11.0