基于MapReduce和Spark的大数据主动学习比较研究

• 作者: 宋丹丹 沈矗 王谟瀚 田石 翟俊海 齐家兴
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 大数据 机器学习 主动学习 样例选择 开源框架
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 高性能计算
• 页码范围: 1715-1722
• 页数: 8页
• 分类号: TP181
• 字数: 6081字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2019.10.001

摘要

在我们以前的工作中,提出了基于MapReduce的大数据主动学习算法.在本文中,将这一算法移植到Spark环境,提出了基于Spark的大数据主动学习算法,并对基于MapReduce和Spark的2种大数据主动学习算法从运行时间、文件数目、同步数目和内存耗费4个方面进行了比较研究,得出了一些有价值的结论,这些结论将为相关研究人员提供很好的帮助.