利用超链接信息改进网页爬行器的搜索策略

• 作者: 左万利 赫枫龄
• 来源期刊: 吉林大学学报（信息科学版）
• 学科: 工学
• 关键词: 爬行器 网络搜索引擎 宽度优先搜索 超链接
• 年，卷（期）: 2005,（1）
• 所属期刊栏目: 计算机科学与技术
• 页码范围: 59-63
• 页数: 5页
• 分类号: TP393.09
• 字数: 2987字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-5896.2005.01.011

摘要

网页爬行器在Web空间中爬行时,要面对如下两个问题:1)由于Internet上的信息量十分巨大,网络搜索引擎不可能包含整个Web网页;2)受到硬件资源的限制,它所能存储的网页是有限的.爬行器如果按照传统的宽度优先搜索策略在Web空间中爬行,它对所有的网页都采取一视同仁的态度,这样爬行的结果就导致了它所爬行回来的网页质量不高.为此,给出了利用超链接信息改进网页爬行器搜索策略的算法.该算法充分考虑了网页之间的超链接信息,克服了传统的宽度优先搜索策略的盲目性爬行.实验表明,利用该算法爬行得到的网页与某一特定主题相关的网页超过50%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	左万利	吉林大学计算机科学与技术学院	88	1273	20.0	31.0
2	赫枫龄	吉林大学计算机科学与技术学院	34	590	13.0	24.0