基于专业搜索引擎的网页去重技术研究

• 作者: 张艳
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 网页去重 专业搜索引擎 关键词特征向量 词频统计
• 年，卷（期）: 2012,（4）
• 所属期刊栏目: 网络技术
• 页码范围: 138-141
• 分类号: TP393
• 字数: 6399字
• 语种: 中文

摘要

针对专业搜索引擎的特点,对基于词频统计的网页去重算法进行了改进.改进后形成的基于专业搜索引擎的网页去重算法通过两步进行:首先,通过计算文档用词重叠度,判断文档中使用的专业关键词集合是否大致相同.第二步,在满足上一步判断基础上,进一步判断两篇文档在各专业关键词用词频率上是否相同.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张艳		2	1	1.0	1.0