大数据环境下的分布式数据流处理关键技术探析

• 作者: 戴永涛 毕坤 陈付梅 韩德志
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 大数据 流处理 消息队列 数据处理 数据存储
• 年，卷（期）: 2017,（3）
• 所属期刊栏目: 第四届大数据学术会议(CCF BIGDATA2016)
• 页码范围: 620-627
• 页数: 8页
• 分类号: TP391|TP311.13
• 字数: 10264字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2017.03.620

摘要

大数据环境下的数据流处理实时性要求高,数据计算要求持续性和高可靠性.分布式数据流处理系统(DDSPS)能解决大数据环境下的数据流处理问题,它除具备分布式系统的可扩展性和容错性优势外,还具有高的实时处理能力.详细介绍了组成基于大数据的分布式数据流处理系统的四个子系统及其关键技术,讨论和比较了各个子系统的不同技术方案;同时介绍一种分布式拒绝服务(DDoS)攻击检测数据流处理系统结构案例,其研究内容能为大数据环境下的数据流处理理论研究和应用技术开发提供技术参考.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	韩德志	上海海事大学信息工程学院	21	109	5.0	10.0
2	毕坤	上海海事大学信息工程学院	6	41	2.0	6.0
3	陈付梅	上海海事大学信息工程学院	1	33	1.0	1.0
4	戴永涛	上海海事大学信息工程学院	2	64	2.0	2.0