基于Solr的农田数据索引方法与大数据平台构建

• 作者: 冀福华 姜含露 樊学谦 王猛 苑严伟 赵博
• 来源期刊: 农业机械学报
• 学科: 农学
• 关键词: 农田 大数据 索引 Solr Hbase Hadoop
• 年，卷（期）: 2019,（11）
• 所属期刊栏目: 农业信息化工程
• 页码范围: 186-192
• 页数: 7页
• 分类号: S24|TP391
• 字数: 5225字
• 语种: 中文
• DOI: 10.6041/j.issn.1000-1298.2019.11.021

摘要

针对农田数据在高吞吐量、高并发、多条件处理过程中易产生运算负载大、响应速度慢等难题,研究了负载均衡大规模集群数据处理技术,优化了多条件检索时Hbase农田数据库,提出了基于Solr的二级非主键索引方法,搭建了基于Hadoop的农田大数据平台,采用农机深松、植保、保护性耕作等8种作业生成的100 TB数据对平台进行了检索实验和压力测试实验.实验结果表明,多条件检索时,优化后的技术模型在数据规模达到5×107条时,系统的响应时间小于1 s,优化的性能与原生Hbase相比提高了3倍;在模拟用户达到5×105次时,系统的QPS及TPS提高了1倍左右、RT提高了2.5倍,系统的平均响应时间为183 ms.本研究解决了高吞吐量、高并发导致农田数据检索效率低的问题,提高了海量农田数据实时处理的计算能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王猛	中国农业机械化科学研究院土壤植物机器系统技术国家重点实验室	12	156	5.0	12.0
2	苑严伟	中国农业机械化科学研究院土壤植物机器系统技术国家重点实验室	47	548	14.0	22.0
3	赵博	中国农业机械化科学研究院土壤植物机器系统技术国家重点实验室	52	394	12.0	18.0
4	姜含露	中国农业机械化科学研究院土壤植物机器系统技术国家重点实验室	3	2	1.0	1.0
5	冀福华	中国农业机械化科学研究院土壤植物机器系统技术国家重点实验室	3	2	1.0	1.0