基于MapReduce和Spark的大规模压缩模糊K-近邻算法

• 作者: 王谟瀚 翟俊海 齐家兴
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: MapReduce平台 Spark平台 模糊K-近邻 样例选择 动态机制
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 139-147
• 页数: 9页
• 分类号: TP311
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0055670

摘要

压缩模糊K-近邻(CFKNN)算法仅适用于中小数据环境,且其样例选择采用静态机制,导致算法不能对阈值进行动态调整从而选出最优样例.为此,对CFKNN算法进行改进,将其扩展到大规模数据环境,提出分别基于MapReduce和Spark的2种大规模压缩模糊K-近邻算法.在样例选择阈值设置方面,引入动态机制,使得所选样例更具代表性.在具有7个数据节点的大数据平台上进行实验,结果表明,与CFKNN算法相比,所提2种算法具有更高的分类精度和加速比.2个平台相比,MapReduce产生的中间文件数目多于Spark,而Spark在运行时间和同步次数上优于MapReduceo.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	翟俊海		45	256	9.0	12.0
2	齐家兴		2	0	0.0	0.0
3	王谟瀚		2	0	0.0	0.0