基于Hadoop的海量数据TCP报文重组技术

• 作者: 刘贤熜 宋斌
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 海量数据 传输控制协议 报文重组 分布式系统 并行处理 辅助排序
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 移动互联与通信技术
• 页码范围: 113-117,123
• 页数: 6页
• 分类号: TP393
• 字数: 4471字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2016.10.020

摘要

当前基于单机系统的传输控制协议(TCP)报文重组工具随着数据量的增大,运行效率越来越低,难以满足大数据时代的需求.为此,提出一种基于Hadoop的海量数据TCP报文重组系统.利用Hadoop分布式文件系统(HDFS)以及MapReduce并行处理框架,对TCP报文重组中的数据读取和结果输出步骤进行并行化处理.采用MapReduce辅助排序技术实现海量TCP数据流的分类.测试结果表明,与基于单机系统的报文重组工具相比,基于Hadoop的报文重组系统工作效率更高,并且当数据量达到100 GB时,运行效率可提升近84％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋斌	南京理工大学计算机科学与工程学院	34	534	9.0	23.0
2	刘贤熜	南京理工大学计算机科学与工程学院	1	6	1.0	1.0