基于概念和语义网络的近似网页检测算法

• 作者: 彭学平 曹玉娟 牛振东 赵堃
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 网页去重算法 小世界网络 近似网页 均方差
• 年，卷（期）: 2011,（8）
• 所属期刊栏目: 数据库技术
• 页码范围: 1816-1826
• 分类号: TP391
• 字数: 7628字
• 语种: 中文
• DOI: 10.3724/SP.J.1001.2011.03890

摘要

在搜索引擎的检索结果页面中,用户经常会得到内容近似的网页.为了提高检索整体性能和用户满意度,提出了一种基于概念和语义网络的近似网页检测算法DWDCS(near-duplicate webpages detection based on concept and semantic network).改进了经典基于小世界理论提取文档关键词的算法.首先对文档概念进行抽取和归并,不但解决了“表达差异”问题,而且有效降低了语义网络的复杂度；从网络结构的几何特征对其进行分析同时利用网页的语法和结构信息构建特征向量进行文档相似度的计算,由于无须使用语料库,使得算法天生具有领域无关的优点.实验结果表明,与经典的网页去重算法(I-Match)和单纯依赖词汇共现小世界模型的算法相比,DWDCS具有很好的抵抗噪声的能力,在大规模实验中获得了准确率＞90％和召回率＞85％的良好测试结果.良好的时空间复杂度及算法性能不依赖于语料库的优点,使其在大规模网页去重实际应用中获得了良好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	牛振东	北京理工大学计算机科学技术学院	46	597	14.0	23.0
2	曹玉娟	北京理工大学计算机科学技术学院	4	36	3.0	4.0
4	赵堃	北京理工大学计算机科学技术学院	3	42	3.0	3.0
7	彭学平	北京理工大学计算机科学技术学院	1	28	1.0	1.0