基于Hadoop/Hive的气象数据分布式处理研究

• 作者: 张金泉 陈效杰
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 大数据 Hadoop HDFS Hive
• 年，卷（期）: 2015,（8）
• 所属期刊栏目: 软件行业发展
• 页码范围: 11-13
• 页数: 3页
• 分类号: TP301
• 字数: 2179字
• 语种: 中文
• DOI: 10.11907/rjdk.151393

摘要

分布全球的气象传感器每隔一段时间就会收集大量的气象数据,历史气象数据更为庞大,如何存储和处理这些数据已成为一个难题.Hadoop的出现给人们提供了存储和分析大数据的一个利器,它利用HDFS分布式文件系统进行大数据存储,用户通过编写MapReduce程序完成大数据的分析处理.然而,对于很多用户而言,熟练掌握Java语言并编写MapReduce程序并不容易.鉴于此,利用Hive来存储和处理气象数据集.Hive是构建在Hadoop上的数据仓库框架,它支持SQL接口,可以让精通SQL技能的分析师对存放在HDFS中的大规模数据集进行查询分析.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张金泉	山东科技大学信息科学与工程学院	29	150	8.0	11.0
2	陈效杰	山东科技大学信息科学与工程学院	1	10	1.0	1.0