分布协作式搜索引擎系统的初步探索

• 作者: 朱伟 赵新慧
• 来源期刊: 抚顺石油学院学报
• 学科: 工学
• 关键词: 分布协作式 搜索引擎 信息收集
• 年，卷（期）: 2003,（4）
• 所属期刊栏目: 计算机与自动化
• 页码范围: 57-60
• 页数: 4页
• 分类号: TP393
• 字数: 2571字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-6952.2003.04.017

摘要

针对集中式搜索引擎的瓶颈问题,提出一种既具有集中式搜索引擎优点又解决了其瓶颈问题的分布协作式搜索引擎系统.系统的设计思想是使地理上分散在不同地方的搜索引擎在信息收集与更新上进行协作.讨论了信息收集程序(Crawler)的3种工作方式:封闭式、交叉式和交换式.提出了成组传送和复制热门URL两种方法来降低在交换式工作方式下传送的URL信息频率和信息量.讨论了Web的3种划分方法:URL散列法、站点散列法和分类法.通过模拟实验验证了在封闭式工作方式下当Crawler数量较少时可以得到较好的收集率.验证了站点散列法比URL散列法能显著减少外部链接的数量.验证了成组传送对降低在交换式工作方式下传送URL信息量所起的作用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵新慧	辽宁石油化工大学信息工程学院	18	45	3.0	5.0
2	朱伟	辽宁石油化工大学信息工程学院	17	70	5.0	7.0