基于迭代式MapReduce并行虚拟筛选的研究

• 作者: 李志坚
• 来源期刊: 佳木斯大学学报（自然科学版）
• 学科: 工学
• 关键词: MapReduce 大数据 Spark 并行向量机 HDFS
• 年，卷（期）: 2016,（3）
• 页码范围: 435-437
• 页数: 3页
• 分类号: TP39
• 字数: 2369字
• 语种: 中文

摘要

由于传统的SVM的应用最常用的是MPI(Message Passing Interface)技术,但是MPI对大数据集显得繁杂、不实用,并且基于并行向量机(Support Vector Machine)的虚拟筛选不仅要面对巨大数据集,还要进行O(n2).这样复杂庞大的计算.针对以上问题,在集群方面采用MapRe-duce对超大数据集进行数据分析.本文采用Spark一种迭代式MapReduce编程模型,提出一种基于SVM虚拟筛选的MapReduce执行方案,分析了HDFS和Spark结合使用才能实现对数据的并行化分布和处理,实验表明该方案对大数据表现理想,且为大规模的公共云架构进行有效虚拟筛选提供了可能.