基于Hadoop的交互式大数据分析查询处理方法

• 作者: 李聪颖 梁小江 王瑞刚
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Hadoop集群 大数据处理 交互式查询 快速 SQL
• 年，卷（期）: 2016,（8）
• 所属期刊栏目: 应用开发研究
• 页码范围: 134-137,142
• 页数: 5页
• 分类号: TP302.1
• 字数: 3270字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2016.08.028

摘要

基于Hadoop的交互式大数据分析查询处理方法旨在快速分析查询大数据集的信息，最重要的特征就是查询速度快。该方法能够运行在上千节点的集群上，适于半结构化/嵌套数据的分析、兼容现有的SQL环境和Apache Hive。文中主要利用此方法实现连接HDFS、Hive以及Hbase进行查询测试，还完成了同时从不同数据源上关联查询数据。在同一Ha-doop集群环境中，将该方法与Spark SQL对于10万、20万、50万、100万、500万条数据进行查询速度对比测试。经过多次实验后得出，基于Hadoop的交互式大数据分析查询处理方法速度快、效率高，能够帮助企业用户快速、高效地进行Hadoop数据查询和企业级大数据分析。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁小江		14	126	6.0	11.0
2	王瑞刚		28	116	7.0	9.0
3	李聪颖		8	54	5.0	7.0