原文服务方: 计算机应用研究       
摘要:
分析了 Cloudera 公司推出的 Impala 实时查询引擎原理与架构,并深入比较 Impala 与传统 MapReduce 的性能与特点,针对 Impala 进行复杂大数据处理方面的不足,提出了 MapReduce 与 Impala 结合的大数据处理方法,通过使用 MapReduce 对 Impala 的输入数据进行预处理,利用 MapReduce 在复杂作业处理方面的长处弥补了Impala 在这方面的不足。最后对电信手机上网日志进行大数据查询和分析计算实验,实验结果表明,在大数据查询性能方面,基于 MapReduce 与 Impala 结合的大数据处理速度比传统 MapReduce 快了一倍。特别地,在迭代查询实验中,基于 MapReduce 与 Impala 结合的处理方法超过传统 MapReduce 方法八倍以上。基于 MapReduce与 Impala 结合的处理方法在单次查询中的效率仍然高于传统 MapReduce;而在迭代查询中,MapReduce 与 Impala结合的处理方法远远地超过了 MapReduce。因此,MapReduce 与 Impala 结合的处理方法能够发挥 Impala 和 Ha-doop 各自的优点,让处理效率远超传统 MapReduce,对于复杂的大数据处理的能力高于 Impala。
推荐文章
试飞数据查询引擎设计
试飞数据
查询引擎
高保真
按秒聚合
精细查询
函数集成
基于KingView的SQL数据查询设计
数据查询
KingView
工控系统
控件
基于模糊数据库的数据查询研究
模糊数据库
数据查询
EDA海量数据查询和报表性能优化
海量数据查询
SQL解析数据分片
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 基于ImpaIa的大数据查询分析计算性能研究
来源期刊 计算机应用研究 学科
关键词 大数据 Hadoop MapReduce Impala 计算性能 查询分析
年,卷(期) 2015,(5) 所属期刊栏目 算法研究与探讨
研究方向 页码范围 1330-1334
页数 5页 分类号 TP391|TP301.6
字数 语种 中文
DOI 10.3969/j.issn.1001-3695.2015.05.013
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 林伟伟 华南理工大学计算机科学与工程学院 42 903 11.0 29.0
2 刘波 华南师范大学计算机学院 45 522 9.0 21.0
3 郭超 华南师范大学计算机学院 1 18 1.0 1.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (0)
共引文献  (0)
参考文献  (3)
节点文献
引证文献  (18)
同被引文献  (43)
二级引证文献  (15)
2012(1)
  • 参考文献(1)
  • 二级参考文献(0)
2013(2)
  • 参考文献(2)
  • 二级参考文献(0)
2015(0)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(0)
  • 二级引证文献(0)
2016(7)
  • 引证文献(6)
  • 二级引证文献(1)
2017(6)
  • 引证文献(4)
  • 二级引证文献(2)
2018(10)
  • 引证文献(5)
  • 二级引证文献(5)
2019(9)
  • 引证文献(3)
  • 二级引证文献(6)
2020(1)
  • 引证文献(0)
  • 二级引证文献(1)
研究主题发展历程
节点文献
大数据
Hadoop
MapReduce
Impala
计算性能
查询分析
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机应用研究
月刊
1001-3695
51-1196/TP
大16开
1984-01-01
chi
出版文献量(篇)
21004
总下载数(次)
0
总被引数(次)
238385
论文1v1指导