基于傅立叶变换的网页去重算法

• 作者: 孙济洲 张亚平 陈锦言
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 网页去重 K-L展开 傅立叶变换 维数压缩
• 年，卷（期）: 2008,（4）
• 所属期刊栏目: 人工智能
• 页码范围: 948-950
• 页数: 3页
• 分类号: TP391.1|TP393.09
• 字数: 2458字
• 语种: 中文

摘要

去除重复网页可以提高搜索引擎的搜索精度,减少数据存储空间.目前文本去重算法以关键词去重、语义指纹去重为主,用上述算法进行网页去重时容易发生误判.通过对字符关系矩阵进行K-L展开,将每个字符映射成为一个数值,然后对这个数值序列做离散傅立叶变换,得到每个网页的傅立叶系数向量,通过比较傅立叶系数向量差异实现对网页的相似度判断.实验结果表明该方法可对网页实现较好的去重.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙济洲	天津大学计算机科学与技术学院	157	1707	21.0	34.0
2	陈锦言	天津大学计算机科学与技术学院	8	139	5.0	8.0
3	张亚平	天津大学计算机科学与技术学院	20	157	8.0	11.0