基于HBase的数据完全本地化分析平台设计与实现

• 作者: 孙功星 孙震宇 李强 雷晓凤
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 数据本地化 MapReduce模型 HBase数据库 Java本地接口 Cairgorm框架 Django框架
• 年，卷（期）: 2016,（6）
• 所属期刊栏目: 体系结构与软件技术
• 页码范围: 68-74,80
• 页数: 8页
• 分类号: TP311
• 字数: 4393字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2016.06.012

摘要

为充分利用I/O资源并提高数据分析效率,针对高能物理数据分析过程及数据存储特点,利用Java本地接口技术,提出基于HBase C++访问接口的数据完全本地化分析平台,并设计MapReduce模型的相关算法及组件,根据Mapper任务的优化分配及组合提高CPU资源的利用率.通过集成高能物理数据分析环境、作业管理系统、ROOT绘图模块等,实现全新的Web用户接口,简化用户操作.测试结果表明,与传统基于文件存储的数据分析系统相比,该平台的数据分析速度更快,可扩展性更好.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李强	中国科学院高能物理研究所	307	4416	30.0	55.0
5	孙功星	中国科学院高能物理研究所	42	177	8.0	10.0
6	孙震宇	中国科学院高能物理研究所	7	23	3.0	4.0
10	雷晓凤	中国科学院高能物理研究所	4	17	3.0	4.0