不确定性传播算法的MapReduce并行化实现

• 作者: 何东之 张吉沣 赵鹏飞
• 来源期刊: 山东大学学报（工学版）
• 学科: 工学
• 关键词: MapReduce 云计算平台 二分网络 不确定性传播算法 分布式
• 年，卷（期）: 2015,（5）
• 所属期刊栏目: 机器学习与数据挖掘
• 页码范围: 22-28
• 页数: 7页
• 分类号: TP311
• 字数: 6615字
• 语种: 中文
• DOI: 10.6040/j.issn.1672-3961.0.2014.367

摘要

为了克服单机串行不确定性传播算法处理大规模数据集的局限，采用MapReduce编程模型对算法进行并行化实现。将单机算法按照算法流程进行拆分，每一步对应一个MapReduce程序。每一步的输入及输出数据都存储在Hadoop分布式文件系统上。用命中率对比并行化的不确定性传播算法与全局排名算法的性能。对比不同数据量、不同节点数时并行化的不确定性传播算法的加速比。试验结果表明，不确定性传播算法MapReduce并行化后部署在Hadoop集群上运行，命中率显著高于全局排名算法，且有着较好的并行性，扩大了单机算法所能处理的数据规模且提高了算法的运算速度。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵鹏飞	北京工业大学软件学院	13	50	4.0	6.0
2	何东之	北京工业大学软件学院	14	93	4.0	9.0
3	张吉沣	北京工业大学软件学院	1	3	1.0	1.0