定题爬虫的设计及其关键技术实现

• 作者: 林坤辉 郑健珍 钱毅
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 定题爬虫 自主学习网页分析算法 镜像页面检测算法
• 年，卷（期）: 2007,（1）
• 页码范围: 9-12
• 分类号: TP391.3
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2007.01.003

摘要

定题搜索引擎是新一代搜索引擎的发展方向之一,而定题爬虫是定题搜索引擎的构建关键.本文提出了一个定题爬虫系统的设计框架,详细介绍了其实现的关键技术.针对传统主题过滤算法Hopfield网页分析算法的不足,提出了自主学习的网页分析算法,提高链接于不相关页面后的相关页面被搜索的机会,同时提出了简单高效的镜像页面检测算法,最后, 用原型系统FC测试表明系统有较好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	林坤辉	厦门大学软件学院	24	240	8.0	15.0
2	郑健珍	厦门大学软件学院	2	27	1.0	2.0
3	钱毅		1	0	0.0	0.0