基于大数据技术的EAST实验数据访问日志分析系统的设计

• 作者: 王月婷 王枫 章琦皓
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: MDSplus 日志 HadoopMR模型 Spark Streaming Flume Kafka
• 年，卷（期）: 2018,（9）
• 所属期刊栏目: 数据工程
• 页码范围: 50-55
• 页数: 6页
• 分类号: TP3
• 字数: 4320字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2018.09.009

摘要

EAST装置产生的实验数据规模日益变大,对EAST上的MDSplus数据存储服务器进行有效地监控是很有必要的.为了方便实验人员对MDSplus服务器上的用户进行管理,设计一个MDSplus日志离线和实时分析系统.MDSplus日志分析系统采用的大数据处理框架是Hadoop生态圈的MapReduce离线计算模型和Spark生态圈中的Spark Streaming实时数据计算模型.系统还使用Flume、Kafka的日志监测、聚合、分发等关键性技术,使得MDSplus海量日志数据的处理能力变为可能,且能够在秒级别处理千万条未处理的MDSplus日志信息,离线和实时处理后展现在Web端.测试表明,系统工作能够满足设计需求,对聚变实验数据的管理具有重要的应用价值.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王枫	中科院等离子体物理研究所	2	7	1.0	2.0
2	章琦皓	中科院等离子体物理研究所	1	1	1.0	1.0
6	王月婷	中科院等离子体物理研究所	1	1	1.0	1.0