基于Map／Reduce集群上的模式空间划分的数据挖掘

• 作者: 刘骞 陈明
• 来源期刊: 中国电子商情：通信市场
• 学科: 工学
• 关键词: Map/Reduce 模式空间划分 数据挖掘 云计算
• 年，卷（期）: 2012,（3）
• 所属期刊栏目: 2012（第五届）全国网络与信息安全学术会议优秀论文
• 页码范围: 91-95
• 页数: 5页
• 分类号: TP391.75
• 语种: 中文
• DOI: 10.3969/j.issn.1006-6675-B.2012.03.030

摘要

通过模式空间划分将基于Map／Reduce处理数据集与候选目标模式集的多对多的对应关系的问题转化为处理数据集与各子模式空间的多对多的对应关系问题。大大缩小了中间结果键值对集合的规模，避免了由于组合爆炸导致的单一Map节点的瓶颈问题。通过多轮的Map／Reduce任务，实现了模式空间的建立、划分，过滤规则的建立、使用，并在此基础上实现了各子模式空间上独立地进行复杂类型模式的数据挖掘。通过充分利用整个模式空间的全局特征及各子模式空间的个性特征，设计了优化的挖掘算法从而提高了挖掘阶段的效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈明	中国石油大学计算机科学与技术系	82	723	16.0	24.0
2	刘骞	中国石油大学计算机科学与技术系	7	12	2.0	3.0