利用HDF5和Esper的高效外汇数据分析系统

• 作者: 卢庆武 吴文忠 张锐 蔡昭权
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 关系数据库 HDF5 高效数据分析系统 外汇分析模型
• 年，卷（期）: 2011,（4）
• 所属期刊栏目: 研究与实现
• 页码范围: 159-163
• 分类号: TP311
• 字数: 3005字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2011.04.031

摘要

为解决目前关系型数据库由于死锁和阻塞等原因造成系统随数据量增加性能急剧降低的问题,本文提出结合HDF5和Esper的数据处理方法,利用HDF5(层次型数据存储格式)的强大I/O性能和数据类型自定义功能做数据存储,加快数据存储的速度.同时,结合Esper实时计算的高运算效率特征,设计出一套针对外汇计算行业的可移植的数据格式和函数库,解决了即时数据分析系统在存储、管理、交换、归档需求中出现的性能和效率问题.实验结果表明,在10G/天的数据量下,HDF5的数据读写性能比MSSQL要高80倍左右,结合Esper的毫秒级处理能力,能够做到外汇数据的实时计算.系统对于数据处理分析和实时性要求极高的情况有较高的应用价值.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡昭权	惠州学院教育技术中心	144	686	14.0	20.0
2	卢庆武	惠州学院教育技术中心	37	215	8.0	13.0
3	张锐	惠州学院教育技术中心	16	56	4.0	7.0
4	吴文忠		14	143	6.0	11.0