基于聚焦型网络爬虫的影评获取技术

• 作者: 杨小兵 高宇
• 来源期刊: 中国计量大学学报
• 学科: 工学
• 关键词: 搜索引擎 网络爬虫 Jieba分词 正则表达式 词云
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 信息科学
• 页码范围: 299-303
• 页数: 5页
• 分类号: TP391
• 字数: 3480字
• 语种: 中文
• DOI: 10.3969/j.issn.2096-2835.2018.03.012

摘要

随着“互联网+”概念的普及,网络上的资源随之成倍增长.面对庞大的数据资源,传统的搜索引擎Baidu、Google等已经不能满足人们对于特定信息的获取需求.作为搜索引擎抓取数据的重要组成部分,网络爬虫的作用非常重要.本文主要介绍了网络爬虫的概念、组成模块以及工作流程,在通用爬虫的基础上提出一种聚焦型网络爬虫系统,以python和相应的第三方库为主要工具,通过定义采集函数和给定豆瓣网最新上映电影的网址,快速搜索该网址某电影的影评信息,对页面内链接和外链接进行有效爬取.然后,再对获取到的数据进行分词处理,根据关键词的出现频率生成词云.实验结果表明,该聚焦型爬虫系统能够将所有影评信息以JSON格式存储到本地,并通过词云直观的展示出来.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨小兵	中国计量大学信息工程学院	17	99	4.0	9.0
2	高宇	中国计量大学信息工程学院	3	14	2.0	3.0