基于Scrapy的中药材网络信息采集方法研究

• 作者: 张喜红 王玉香
• 来源期刊: 江汉大学学报（自然科学版）
• 学科: 工学
• 关键词: Scrapy 中药材 爬虫
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 计算机科学
• 页码范围: 522-527
• 页数: 6页
• 分类号: TP391.3
• 字数: 3485字
• 语种: 中文
• DOI: 10.16389/j.cnki.cn42-1737/n.2018.06.006

摘要

以中药材天地网站的信息收集为例,基于Scrapy框架设计了中药材品名、规格、产地、价格等信息提取的爬虫.首先,借助浏览器的网页审查元素工具分析目标网页的结构,并抽取目标元素的XPath路径;接着,采用Scrapy框架构建网络爬虫工程,分别在相应的文件中设计目标元素的解析规则及元素的存储方法;最后利用设计的爬虫采集目标网站信息进行测试,以西洋参、三七为例,将线上采集数据与线下实地调研的数据进行对比.结果表明,所设计的爬虫能快速、高效、准确获取目标网站的信息,且与线下实地调研数据相符,可为后续的研究提供数据支撑.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张喜红		47	66	4.0	5.0
2	王玉香		41	62	4.0	6.0