基于动态任务迁移的近数据处理方法

• 作者: 刘鹏 华幸成
• 来源期刊: 浙江大学学报（工学版）
• 学科: 工学
• 关键词: 近数据处理(NDP) MapReduce 3D存储器 动态任务迁移
• 年，卷（期）: 2019,（12）
• 所属期刊栏目: 计算机科学与人工智能
• 页码范围: 2348-2356
• 页数: 9页
• 分类号: TP302
• 字数: 6342字
• 语种: 中文
• DOI: 10.3785/j.issn.1008-973X.2019.12.012

摘要

为了应对大数据应用中数据移动对系统性能和能耗造成的负面影响,基于3D存储器集成存储与逻辑电路的特点和MapReduce模型的并发特性,提出一种基于动态任务迁移的近数据处理(NDP)方法.对MapReduce应用的工作流解耦以获取核心计算任务,提供迁移机制将计算任务动态迁移到NDP单元中;采用原子操作优化数据访问,从而大幅度减少数据移动.实验结果表明,对于MapReduce应用,提出的近数据处理方法将75％的数据移动约束在存储单元内部,有效减少了主处理单元与存储单元之间的数据移动.与目前最先进的工作相比,所提方法在系统性能和系统能效上分别有70％和44％的提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘鹏	浙江大学信息与电子工程学院	78	817	15.0	26.0
2	华幸成	浙江大学信息与电子工程学院	2	2	1.0	1.0