基于FILTER算子匹配的增量式DAG计算复用方法

• 作者: 梁毅 阚京 陈彩
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 增量计算 分布式计算 计算复用 查询优化 DAG计算
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 软件理论与方法
• 页码范围: 26-29
• 页数: 4页
• 分类号: TP301
• 字数: 3087字
• 语种: 中文
• DOI: 10.11907/rjdk.171282

摘要

伴随着数据的爆炸式增长,越来越多的大数据业务分析与处理选择分布式计算平台.目前针对大数据的分布式计算框架都支持DAG式的任务编排.由于大数据采集来源以及分布式存储系统特点,很多使用DAG框架进行计算的应用都是增量式的大数据集,但现有的DAG框架对这样的数据集进行计算时有许多冗余,造成计算资源浪费.提出了在DAG框架上进行增量式复用的方法,并针对FILTER算子特点提出了基于FILTER算子匹配的间接复用机制.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁毅	北京工业大学信息学部	25	56	5.0	6.0
2	陈彩	北京工业大学信息学部	12	58	4.0	7.0
3	阚京	北京工业大学信息学部	2	3	1.0	1.0