一种新的主题网络爬虫爬行策略

• 作者: 刘晓然 宋海洋 钱海俊
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 主题网络爬虫 爬行策略 二次爬行 相关度分析
• 年，卷（期）: 2011,（11）
• 所属期刊栏目: 应用技术研究
• 页码范围: 264-267,293
• 分类号: TP311
• 字数: 5738字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386X.2011.11.067

摘要

为了解决传统主题网络爬虫准确度低或者爬行速度慢的问题,提出一种新的主题网络爬虫爬行策略,主要针对“二次爬行”过程进行改进.在传统的主题网络爬虫流程中增加一份“经验树”,将基于内容分析和基于链接分析两种不同的相关度分析算法相结合,并且可以保存爬虫爬行过程中所得到的“经验”,实现对后续爬行的指导.实验结果表明通过改进后的策略实现的主题网络爬虫在性能上有较大提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘晓然	海军指挥学院信息战研究系	18	93	5.0	9.0
2	钱海俊	海军指挥学院信息战研究系	4	41	2.0	4.0
3	宋海洋	海军指挥学院信息战研究系	2	34	1.0	2.0