基于Heron平台的自适应重传策略

• 作者: 于炯 夏毅 张译天 李梓杨 鲁亮
• 来源期刊: 东北师大学报（自然科学版）
• 学科: 工学
• 关键词: Apache Heron 流式计算 容错 大数据
• 年，卷（期）: 2020,（1）
• 页码范围: 55-62
• 页数: 8页
• 分类号: TP311.5
• 字数: 6117字
• 语种: 中文
• DOI: 10.16163/j.cnki.22-1123/n.2020.01.012

摘要

针对Heron容错机制中拓扑使用固定超时阈值未考虑数据源与组件内部逻辑的差异对元组往返时间影响的问题,提出了Heron环境下自适应重传策略,包括元组标记算法和最优参数估计算法.首先通过元组标记算法监控拓扑中元组,然后根据数据流的处理时延计算最优超时阈值并更新到拓扑中,从而适应当前集群的实际负载,提升集群性能.实验结果表明,自适应重传策略与默认重传策略相比,集群的元组失败率和CPU占用率在不同情况下平均降低了16％ 和0.6 GHz,集群吞吐量平均提高了13％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学信息科学与工程学院	176	1315	20.0	28.0
2	李梓杨	新疆大学信息科学与工程学院	9	57	4.0	7.0
3	张译天	新疆大学软件学院	3	6	2.0	2.0
4	鲁亮	中国民航大学计算机科学与技术学院	4	2	1.0	1.0
5	夏毅	新疆大学软件学院	1	0	0.0	0.0