基于Spark的舰船网络数据解析存储系统设计与实现

• 作者: 张靓 肖俊东 赵开敏
• 来源期刊: 舰船电子工程
• 学科: 工学
• 关键词: 数据处理 Spark HBase 分布式架构
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 计算机与网络安全
• 页码范围: 92-95,147
• 页数: 5页
• 分类号: TP393
• 字数: 3473字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9730.2017.11.023

摘要

针对传统舰船网络数据处理能力不足的现状,论文提出了基于Spark的数据处理解决方案.在Spark中根据XML解析二进制文件、创建HBase数据库并修改其自身的数据写入机制,开发了网页客户端.论文创新性的提出了Spark对二进制文件解析的一套算法,并在具体的试验过程中得以验证.在分布式架构下从数据处理、存储、应用等角度,实现了一个自动化的、稳定的、高性能的大规模数据处理系统.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	肖俊东		3	3	1.0	1.0
2	赵开敏		3	4	1.0	2.0