海量数据离散化算法的并行设计与实现

• 作者: 张永 张红蕊 路婧威
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 海量数据 并行化 连续属性离散化 Hadoop
• 年，卷（期）: 2014,（6）
• 所属期刊栏目: 数据工程
• 页码范围: 21-23,28
• 页数: 4页
• 分类号: TP18
• 字数: 3295字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2014.06.007

摘要

连续属性的离散化是机器学习和数据挖掘的重要预处理步骤,如何高效处理海量数据连续属性离散化已成为急需要解决的问题.近年来兴起的Hadoop技术能够有效处理基于海量数据的应用.为此,设计和实现一种基于MapReduce编程模型的连续属性离散化并行算法,并给出算法设计的方法和策略.在保证离散效果的情况下,使用不同大小数据集在不同节点的集群环境下的实验结果表明,所设计的并行离散化算法具有较高的执行效率和较好的可扩展性,适合用于海量数据的快速离散化处理.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张永	辽宁师范大学计算机与信息技术学院	48	408	12.0	17.0
2	张红蕊	辽宁师范大学计算机与信息技术学院	2	28	2.0	2.0
3	路婧威	辽宁师范大学计算机与信息技术学院	1	7	1.0	1.0