MapReduce框架下并行知识约简算法模型研究

• 作者: 张志飞 张泽华 苗夺谦 钱进
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: MapReduce 粗糙集 知识约简 数据并行 任务并行
• 年，卷（期）: 2013,（1）
• 页码范围: 35-45
• 分类号: TP181
• 字数: 6439字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1206048

摘要

面向大规模数据进行知识约简是近年来粗糙集理论研究热点.经典的知识约简算法是一次性将小数据集装入单机主存中进行约简,无法处理海量数据.深入剖析了知识约简算法中的可并行性;设计并实现了数据和任务同时并行的Map和Reduce函数,用于计算不同候选属性集导出的等价类和属性重要性;构建了一种MapReduce框架下并行知识约简算法模型,用于计算基于正区域、基于差别矩阵或基于信息熵的知识约简算法的一个约简.在Hadoop平台上进行了相关实验,实验结果表明,该并行知识约简算法模型可以高效地处理海量数据集.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	苗夺谦	同济大学计算机科学与技术系	123	2389	25.0	44.0
2	张志飞	同济大学计算机科学与技术系	23	514	10.0	22.0
3	钱进	同济大学计算机科学与技术系	8	175	7.0	8.0
4	张泽华	同济大学计算机科学与技术系	4	136	4.0	4.0