分布式开放存取期刊爬虫的设计与实现

• 作者: 张龙 杨镇雄 汤庸 蔡祖锐 陈国华
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 分布式爬虫 开放存取期刊 插件机制
• 年，卷（期）: 2014,（10）
• 所属期刊栏目: 网络与信息安全
• 页码范围: 1187-1194
• 页数: 8页
• 分类号: TP311
• 字数: 8002字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1405051

摘要

开放存取（open access，OA）期刊属于网络深层资源且分散在互联网中，传统的搜索引擎不能对其建立索引，不能满足用户获取OA期刊资源的需求，从而造成了开放资源的浪费。针对如何集中采集万维网上分散的开放存取期刊资源的问题，提出了一个面向OA期刊的分布式主题爬虫架构。该架构采用主从分布式设计，提出了基于用户预定义规则的OA期刊页面学术信息提取方法，由一个主控中心节点控制多个可动态增减的爬行节点，采用基于Chrome浏览器的插件机制来实现分布式爬行节点的可扩展性和部署的灵活性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	汤庸	华南师范大学计算机学院	92	593	13.0	19.0
2	陈国华	华南师范大学计算机学院	13	111	7.0	10.0
3	杨镇雄	华南师范大学计算机学院	5	33	3.0	5.0
4	蔡祖锐	华南师范大学计算机学院	3	30	2.0	3.0
5	张龙	华南师范大学计算机学院	1	2	1.0	1.0