基于Hadoop平台的农产品价格数据爬取和存储系统的研究

• 作者: 刘建阳 杨晓东 杨林楠 郜鲁涛
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 分布式系统 爬虫 Hadoop HDFS 正则表达式
• 年，卷（期）: 2017,（3）
• 所属期刊栏目: 应用技术与研究
• 页码范围: 76-80
• 页数: 5页
• 分类号: TP393
• 字数: 3203字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2017.03.013

摘要

目前许多大型农贸市场和农业信息商务平台都在实时发布每天各地区不同农产品的价格数据.针对数据更新快、数据量大、数据形式多样,使数据的爬取和存储以及后续的分析工作变得困难,提出基于Hadoop的农产品价格爬取及存储系统.利用HttpClient框架结合线程池通过多线程爬取,爬取结束后执行完整性检查,过滤出信息不完整的网页,进行二次爬取直到信息完整.对爬取到的网页使用正则表达式进行解析和清洗,提取有用的数据,以文本文件的形式存入HDFS(Hadoop Distributed File System),此后爬取到的数据以追加的方式写入HDFS 文件中.实验表明HDFS的写入性能满足爬取数据不断递增的现状,副本数越少,数据块越大,写入性能越好.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨林楠	云南农业大学基础与信息工程学院	46	578	11.0	22.0
2	郜鲁涛	云南农业大学基础与信息工程学院	11	49	4.0	6.0
3	刘建阳		2	6	2.0	2.0
4	杨晓东	云南农业大学基础与信息工程学院	4	20	3.0	4.0