RL_Spider:一种自主垂直搜索引擎网络爬虫

• 作者: 刘全 刘忠 黄蔚
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 可控强化学习 垂直搜索引擎 网络爬虫
• 年，卷（期）: 2011,（12）
• 所属期刊栏目: 应用技术与研究
• 页码范围: 183-187
• 分类号: TP301.4
• 字数: 6609字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386X.2011.12.054

摘要

在分析相关spider技术的基础上,提出了将强化学习技术应用到垂直搜索引擎的可控网络爬虫方法.该方法通过强化学习技术得到一些控制“经验信息”,根据这些信息来预测较远的回报,按照某一主题进行搜索,以使累积返回的回报值最大.将得到的网页存储、索引,用户通过搜索引擎的搜索接口,就可以得到最佳的搜索结果.对多个网站进行主题爬虫搜索,实验结果表明,该方法对于网络的查全率和查准率都具有较大的提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘全	苏州大学计算机科学与技术学院	99	1053	16.0	29.0
2	刘忠	苏州大学计算机科学与技术学院	9	181	4.0	9.0
3	黄蔚	苏州大学计算机科学与技术学院	15	47	5.0	6.0