面向海量NetFlow数据的存储和查询处理方法研究

• 作者: 孟丹 崔甲 王伟平 胡斌 陈重韬
• 来源期刊: 高技术通讯
• 关键词: NetFlow,多维属性聚簇存储( MACS)模型,实时数据存储,超多面体
• 年，卷（期）: 2016,（6）
• 所属期刊栏目: 计算机与通信
• 页码范围: 534-541
• 页数: 8页
• 字数: 6261字
• 语种: 中文
• DOI: 10.3772/j.issn.1002-0470.2016.06.003

摘要

针对全国骨干网高速海量NetFlow数据到来速度快、数据量大以及对所存数据进行频繁多维查询操作的特点,提出了一种多维属性聚簇存储(MACS)模型.该模型根据实际应用环境中查询的特点对数据进行空间分片,以并行加流水的方式对数据进行存储.此外,为NetFlow提出了一种超多面体的查询模式.真实环境实验结果表明,运用MACS模型实现的系统单点数据实时存储速度达到270万条/s,远远快于其他的数据分析系统,并且多维属性查询的速度优于Hive和Impala.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孟丹	中国科学院信息工程研究所	68	909	15.0	28.0
2	胡斌	中国科学院计算技术研究所计算机应用研究中心	59	460	12.0	20.0
6	王伟平	中国科学院信息工程研究所	18	334	8.0	18.0
7	陈重韬	中国科学院计算技术研究所计算机应用研究中心	4	8	2.0	2.0
16	崔甲		4	6	1.0	2.0