Hadoop分布式架构下大数据集的并行挖掘

• 作者: 吕婉琪 唐印浒 钟诚 陈志朕
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 数据挖掘 大数据集 并行算法 Hadoop
• 年，卷（期）: 2014,（1）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 22-25,30
• 页数: 5页
• 分类号: TP311.133.2|TP338.6
• 字数: 4453字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2014.01

摘要

基于Hadoop分布式计算平台，给出一种适用于大数据集的并行挖掘算法。该算法对非结构化的原始大数据集以及中间结果文件进行垂直划分以确保能够获得完整的频繁项集，将各个垂直分块数据分配给不同的Hadoop计算节点进行处理，以减少各个计算节点的存储数据，进而减少各个计算节点执行交集操作的次数，提高并行挖掘效率。实验结果表明，给出的并行挖掘算法解决了大数据集挖掘过程中产生的大量数据通信、中间数据以及执行大量交集操作的问题，算法高效、可扩展。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钟诚	广西大学计算机与电子信息学院	195	1023	14.0	21.0
2	唐印浒	广西大学计算机与电子信息学院	4	43	2.0	4.0
3	陈志朕	广西大学计算机与电子信息学院	2	35	2.0	2.0
4	吕婉琪	广西大学计算机与电子信息学院	3	34	2.0	3.0