基于 Hadoop 的葡萄种植环境数据处理及性能测试

• 作者: 付思芮 张军情 罗丽琼 袁伟 赵路 鲁绍坤
• 来源期刊: 山东农业科学
• 学科: 农学
• 关键词: Hadoop Hbase MapReduce 性能测试 农业大数据
• 年，卷（期）: 2015,（8）
• 所属期刊栏目: 信息技术?农业工程
• 页码范围: 119-122,126
• 页数: 5页
• 分类号: S126+S663.104+.4
• 字数: 3224字
• 语种: 中文
• DOI: 10.14083/j.issn.1001-4942.2015.08.031

摘要

随着农业大数据时代的来临，传统串行程序及关系数据库已经不能满足对大数据处理的需求，使用分布式平台对数据进行处理逐渐取代传统的数据处理技术。本文使用 Hadoop 分布式平台，结合非关系型数据库 Hbase 和并行编程模型 MapReduce，对香格里拉地区酿酒葡萄种植区的环境数据的存储和计算进行了设计，测试了 Hbase 对数据的存储性能以及 MapReduce 用于回归分析的性能，并将 MapReduce 并行计算程序与单机串行程序进行了性能对比。结果表明，通过对 Hbase 进行合适的配置，数据写入时间随着节点的增加而减少，存储性能具有良好的扩展性；MapReduce 在处理少量数据时效率低于串行程序，但随着数据量增加，其计算效率明显优于串行程序。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	鲁绍坤	云南农业大学基础与信息工程学院	42	193	7.0	11.0
2	罗丽琼	云南农业大学机电工程学院	15	192	7.0	13.0
3	张军情	云南农业大学基础与信息工程学院	3	2	1.0	1.0
4	袁伟	云南农业大学基础与信息工程学院	3	2	1.0	1.0
5	付思芮	云南农业大学基础与信息工程学院	3	2	1.0	1.0
6	赵路	云南农业大学基础与信息工程学院	1	2	1.0	1.0