面向多源大数据云端处理的成本最小化方法

• 作者: Jianhong WU 包卫东 朱晓敏 肖文华 邵屹杨 陈超
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 大数据处理 多数据中心 数据管理 数据迁移 资源供给
• 年，卷（期）: 2017,（3）
• 所属期刊栏目: 大数据管理技术专刊
• 页码范围: 544-562
• 页数: 19页
• 分类号: TP311
• 字数: 16014字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005160

摘要

云计算为大数据处理提供了一种强大而高效的解决方案.在此模式下,数据管理者(data manager,简称DM)可以租用多个数据中心实时处理地理分散的数据.然而,由于数据产生的动态性以及资源价格的波动性,将数据迁移至哪些数据中心并提供合适的计算资源来处理它们,成为DM低成本处理多源数据的一大问题.首先,将以上问题转换成联合随机优化问题;然后,利用李雅普诺夫(Lyapunov)优化框架将原问题分解成两个独立的子问题进行求解;最后,基于求解结果设计在线算法.理论分析结果表明:所提算法可不断趋近线下最优解,并能够保证数据处理时延.在WorldCup98和Youtube数据集上的实验验证了理论分析结果的正确性以及该方法的优越性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈超	国防科学技术大学信息系统工程重点实验室	31	260	9.0	15.0
2	朱晓敏	国防科学技术大学信息系统工程重点实验室	17	200	10.0	13.0
3	包卫东	国防科学技术大学信息系统工程重点实验室	18	92	5.0	8.0
4	肖文华	国防科学技术大学信息系统工程重点实验室	4	39	3.0	4.0
5	邵屹杨	国防科学技术大学信息系统工程重点实验室	1	2	1.0	1.0