Hadoop平台的海量数据并行随机抽样

• 作者: 周国祥 宛婉
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 云计算 hadoop mapreduce 并行计算 数据挖掘 随机抽样
• 年，卷（期）: 2014,（20）
• 所属期刊栏目: 数据库、数据挖掘、机器学习
• 页码范围: 115-118
• 页数: 4页
• 分类号: TP391.12
• 字数: 3047字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1210-0329

摘要

在“信息爆炸”的当今社会，海量数据对数据挖掘提出新的挑战。在数据挖掘转向云计算平台实现并行化的同时，研究并行化数据随机抽样进一步降低处理的数据规模。提出一种单次扫描即可实现清理脏数据并实现等概率抽样的mapreduce并行抽样算法。在hadoop平台上实现并与普通随机抽样方法进行比较，得出其时间效率非常高，是一种行之有效的方法。为以后数据挖掘中的抽样研究和推动数据挖掘在海量数据下的发展奠定良好基础。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周国祥	合肥工业大学计算机与信息学院	93	669	14.0	21.0
2	宛婉	合肥工业大学计算机与信息学院	2	21	2.0	2.0