网页去重方法研究

• 作者: 樊勇 郑家恒
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 组块 主题句向量 网页去重
• 年，卷（期）: 2009,（12）
• 所属期刊栏目: 数据库、信号与信息处理
• 页码范围: 141-143,183
• 页数: 4页
• 分类号: TP391
• 字数: 4976字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2009.12.046

摘要

搜索引擎返回的重复网页不但浪费了存储资源,而且加重了用户浏览的负担.针对网页重复的特征,提出了一种基于语叉的去重方法.该方法通过句子在文本中的位置和组块的重要度,提取出网页正文的主题句向量,然后对主题句向量进行语义相似度计算,把重复的网页去除.实验证明,该方法对全文重复和部分重复的网页都能进行较准确的检测.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	樊勇	山西大学计算机与信息技术学院	2	31	2.0	2.0
2	郑家恒		4	37	2.0	4.0