主题搜索引擎中爬虫搜索策略的研究

• 作者: 史宝明 吴崇正 贺元香
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 网络爬虫 主题搜索引擎 搜索策略 向量空间模型
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 网络、通信、安全
• 页码范围: 116-119,128
• 页数: 5页
• 分类号: TP391
• 字数: 4640字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1303-0512

摘要

为了解决传统主题爬虫效率偏低的问题，传统主题爬虫会选择最有价值的链接进行访问，仅简单地计算链接的相关性，却忽视待分析URL之间的相关性关系，致使主题爬虫爬取效率较低。提出一种基于链接模型的相关性判别算法，综合利用有标种子URL和无标的待判别URL实现对无标URL的相关性判别，并推导出迭代初值选取对结果的不敏感性。实验结果表明，与传统的网络爬虫算法相关性判别方法相比，提出的方法效率更高。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贺元香	兰州文理学院电子信息工程学院	22	103	4.0	9.0
2	史宝明	兰州文理学院电子信息工程学院	21	100	4.0	9.0
3	吴崇正	兰州理工大学计算机与通信学院	3	38	2.0	3.0