钛学术
文献服务平台
学术出版新技术应用与公共服务实验室出品
首页
论文降重
免费查重
学术期刊
学术导航
任务中心
论文润色
登录
文献导航
学科分类
>
综合
工业技术
科教文艺
医药卫生
基础科学
经济财经
社会科学
农业科学
哲学政法
社会科学II
哲学与人文科学
社会科学I
经济与管理科学
工程科技I
工程科技II
医药卫生科技
信息科技
农业科技
数据库索引
>
中国科学引文数据库
工程索引(美)
日本科学技术振兴机构数据库(日)
文摘杂志(俄)
科学文摘(英)
化学文摘(美)
中国科技论文统计与引文分析数据库
中文社会科学引文索引
科学引文索引(美)
中文核心期刊
中国科学引文数据库
工程索引(美)
日本科学技术振兴机构数据库(日)
文摘杂志(俄)
科学文摘(英)
化学文摘(美)
中国科技论文统计与引文分析数据库
中文社会科学引文索引
科学引文索引(美)
中文核心期刊
中国科学引文数据库
工程索引(美)
日本科学技术振兴机构数据库(日)
文摘杂志(俄)
科学文摘(英)
化学文摘(美)
中国科技论文统计与引文分析数据库
中文社会科学引文索引
科学引文索引(美)
中文核心期刊
cscd
ei
jst
aj
sa
ca
cstpcd
cssci
sci
cpku
cscd
ei
jst
aj
sa
ca
cstpcd
cssci
sci
cpku
cscd
ei
jst
aj
sa
ca
cstpcd
cssci
sci
cpku
默认
篇关摘
篇名
关键词
摘要
全文
作者
作者单位
基金
分类号
搜索文章
搜索思路
钛学术文献服务平台
\
学术期刊
\
工业技术期刊
\
自动化技术与计算机技术期刊
\
计算机应用研究期刊
\
基于ImpaIa的大数据查询分析计算性能研究
基于ImpaIa的大数据查询分析计算性能研究
作者:
刘波
林伟伟
郭超
原文服务方:
计算机应用研究
大数据
Hadoop
MapReduce
Impala
计算性能
查询分析
摘要:
分析了 Cloudera 公司推出的 Impala 实时查询引擎原理与架构,并深入比较 Impala 与传统 MapReduce 的性能与特点,针对 Impala 进行复杂大数据处理方面的不足,提出了 MapReduce 与 Impala 结合的大数据处理方法,通过使用 MapReduce 对 Impala 的输入数据进行预处理,利用 MapReduce 在复杂作业处理方面的长处弥补了Impala 在这方面的不足。最后对电信手机上网日志进行大数据查询和分析计算实验,实验结果表明,在大数据查询性能方面,基于 MapReduce 与 Impala 结合的大数据处理速度比传统 MapReduce 快了一倍。特别地,在迭代查询实验中,基于 MapReduce 与 Impala 结合的处理方法超过传统 MapReduce 方法八倍以上。基于 MapReduce与 Impala 结合的处理方法在单次查询中的效率仍然高于传统 MapReduce;而在迭代查询中,MapReduce 与 Impala结合的处理方法远远地超过了 MapReduce。因此,MapReduce 与 Impala 结合的处理方法能够发挥 Impala 和 Ha-doop 各自的优点,让处理效率远超传统 MapReduce,对于复杂的大数据处理的能力高于 Impala。
下载原文
收藏
引用
分享
推荐文章
试飞数据查询引擎设计
试飞数据
查询引擎
高保真
按秒聚合
精细查询
函数集成
基于KingView的SQL数据查询设计
数据查询
KingView
工控系统
控件
基于模糊数据库的数据查询研究
模糊数据库
数据查询
EDA海量数据查询和报表性能优化
海量数据查询
SQL解析数据分片
内容分析
文献信息
版权信息
引文网络
相关学者/机构
相关基金
期刊文献
内容分析
关键词云
关键词热度
相关文献总数
(/次)
(/年)
文献信息
篇名
基于ImpaIa的大数据查询分析计算性能研究
来源期刊
计算机应用研究
学科
关键词
大数据
Hadoop
MapReduce
Impala
计算性能
查询分析
年,卷(期)
2015,(5)
所属期刊栏目
算法研究与探讨
研究方向
页码范围
1330-1334
页数
5页
分类号
TP391|TP301.6
字数
语种
中文
DOI
10.3969/j.issn.1001-3695.2015.05.013
五维指标
作者信息
序号
姓名
单位
发文数
被引次数
H指数
G指数
1
林伟伟
华南理工大学计算机科学与工程学院
42
903
11.0
29.0
2
刘波
华南师范大学计算机学院
45
522
9.0
21.0
3
郭超
华南师范大学计算机学院
1
18
1.0
1.0
传播情况
被引次数趋势
(/次)
(/年)
版权信息
全文
全文.pdf
引文网络
引文网络
二级参考文献
(0)
共引文献
(0)
参考文献
(3)
节点文献
引证文献
(18)
同被引文献
(43)
二级引证文献
(15)
2012(1)
参考文献(1)
二级参考文献(0)
2013(2)
参考文献(2)
二级参考文献(0)
2015(0)
参考文献(0)
二级参考文献(0)
引证文献(0)
二级引证文献(0)
2016(7)
引证文献(6)
二级引证文献(1)
2017(6)
引证文献(4)
二级引证文献(2)
2018(10)
引证文献(5)
二级引证文献(5)
2019(9)
引证文献(3)
二级引证文献(6)
2020(1)
引证文献(0)
二级引证文献(1)
研究主题发展历程
节点文献
大数据
Hadoop
MapReduce
Impala
计算性能
查询分析
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机应用研究
主办单位:
四川省计算机研究院
出版周期:
月刊
ISSN:
1001-3695
CN:
51-1196/TP
开本:
大16开
出版地:
邮发代号:
创刊时间:
1984-01-01
语种:
chi
出版文献量(篇)
21004
总下载数(次)
0
总被引数(次)
238385
期刊文献
相关文献
1.
试飞数据查询引擎设计
2.
基于KingView的SQL数据查询设计
3.
基于模糊数据库的数据查询研究
4.
EDA海量数据查询和报表性能优化
5.
XML数据查询代价估计算法
6.
基于数据挖掘的高校云计算管理系统中特定数据查询技术
7.
XML数据查询及优化方法研究
8.
集成数据环境下装备IETM数据查询研究
9.
XML数据查询的存储实现
10.
基于粗糙关系数据库的粗糙数据查询
11.
基于JDO查询语言的数据查询
12.
大数据查询综述
13.
使用SetSQLSelect函数实现灵活数据查询
14.
基于标记的不一致数据查询处理框架
15.
基于WebService接口的秦皇岛气象数据查询和服务系统
推荐文献
钛学术
文献服务平台
学术出版新技术应用与公共服务实验室出品
首页
论文降重
免费查重
学术期刊
学术导航
任务中心
论文润色
登录
根据相关规定,获取原文需跳转至原文服务方进行注册认证身份信息
完成下面三个步骤操作后即可获取文献,阅读后请
点击下方页面【继续获取】按钮
钛学术
文献服务平台
学术出版新技术应用与公共服务实验室出品
原文合作方
继续获取
获取文献流程
1.访问原文合作方请等待几秒系统会自动跳转至登录页,首次访问请先注册账号,填写基本信息后,点击【注册】
2.注册后进行实名认证,实名认证成功后点击【返回】
3.检查邮箱地址是否正确,若错误或未填写请填写正确邮箱地址,点击【确认支付】完成获取,文献将在1小时内发送至您的邮箱
*若已注册过原文合作方账号的用户,可跳过上述操作,直接登录后获取原文即可
点击
【获取原文】
按钮,跳转至合作网站。
首次获取需要在合作网站
进行注册。
注册并实名认证,认证后点击
【返回】按钮。
确认邮箱信息,点击
【确认支付】
, 订单将在一小时内发送至您的邮箱。
*
若已经注册过合作网站账号,请忽略第二、三步,直接登录即可。
期刊分类
期刊(年)
期刊(期)
期刊推荐
一般工业技术
交通运输
军事科技
冶金工业
动力工程
化学工业
原子能技术
大学学报
建筑科学
无线电电子学与电信技术
机械与仪表工业
水利工程
环境科学与安全科学
电工技术
石油与天然气工业
矿业工程
自动化技术与计算机技术
航空航天
轻工业与手工业
金属学与金属工艺
计算机应用研究2000
计算机应用研究2001
计算机应用研究2002
计算机应用研究2003
计算机应用研究2004
计算机应用研究2005
计算机应用研究2006
计算机应用研究2007
计算机应用研究2008
计算机应用研究2009
计算机应用研究2010
计算机应用研究2011
计算机应用研究2012
计算机应用研究2013
计算机应用研究2014
计算机应用研究2015
计算机应用研究2016
计算机应用研究2017
计算机应用研究2018
计算机应用研究2019
计算机应用研究2020
计算机应用研究2022
计算机应用研究2015年第2期
计算机应用研究2015年第12期
计算机应用研究2015年第4期
计算机应用研究2015年第8期
计算机应用研究2015年第6期
计算机应用研究2015年第7期
计算机应用研究2015年第9期
计算机应用研究2015年第1期
计算机应用研究2015年第11期
计算机应用研究2015年第10期
计算机应用研究2015年第5期
计算机应用研究2015年第3期
关于我们
用户协议
隐私政策
知识产权保护
期刊导航
免费查重
论文知识
钛学术官网
按字母查找期刊:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他
联系合作 广告推广: shenyukuan@paperpass.com
京ICP备2021016839号
营业执照
版物经营许可证:新出发 京零 字第 朝220126号