基于网络爬虫的文献检索系统的研究和实现

• 作者: 刘冰 李晓风 杨洋 赵赫
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 网络爬虫 本体论 论文检索 Web MVC 负载均衡
• 年，卷（期）: 2014,（11）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 35-38
• 页数: 4页
• 分类号: TP393.4
• 字数: 2936字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2014.11.009

摘要

文中系统基于网络爬虫技术实现了文献资源的智能搜索和关键信息的抓取功能，把采集到的信息采用本体论的方法进行分类识别，并自动存储文献资源到本地服务器。下载子系统采用负载均衡的方法把下载任务分配到多个服务器。系统采用高效的Protobuf socket通信手段，提供高效准确的内部下载服务。通过对内提供统一门户入口的方式对检索和下载行为进行记录，有效避免了同一资源的重复下载，也使得文献检索和下载行为变得可追溯，为图书文献情报管理和研究工作提供了数据支撑。该系统可有效减少科研机构获取学术资源所需的资金投入并减少网络带宽占用。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨洋	中国科学院合肥物质科学研究院	76	554	13.0	21.0
5	刘冰	中国科学院合肥物质科学研究院	56	440	13.0	18.0
9	李晓风	中国科学院合肥物质科学研究院	38	274	9.0	15.0
13	赵赫	中国科学院合肥物质科学研究院	23	208	7.0	14.0