基于分布式流处理的自适应数据分发策略

• 作者: 何震瀛 王晓阳 荆一楠 闾程豪
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 分布式数据流处理 流数据分发 负载均衡 键值分离 自适应策略
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 软件技术与研究
• 页码范围: 24-30
• 页数: 7页
• 分类号: TP3
• 字数: 6409字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2018.08.004

摘要

现有的分布式流数据分发方法通常只针对某一类数据分布的特征进行优化,以降低处理的延迟时间.现实情况中,数据分布的特征往往会随着时间发生变化,导致针对特定数据分布特征进行优化的分发方法无法总是获得最低的处理延迟时间.解决上述问题可以使用一种自适应数据分发策略APS(Adaptive Partition Strategy).在mini-batch分布式流处理模型中,APS策略选取一系列当下被广泛使用的数据分发方法作为候选,在每个mini-batch上对不同候选方法的最大负载和键值分离程度进行整体评估,进而根据评估结果进行分发方法的调整.实验结果表明,在处理维基项目的真实数据集时,该策略与现有分发方法相比,最多能将处理延迟时间降低26.7％.