一种基于Rough Set的海量数据分割算法

• 作者: 吴渝 王国胤 覃政仁
• 来源期刊: 模式识别与人工智能
• 学科: 工学
• 关键词: 粗糙集 数据分割 分布式处理
• 年，卷（期）: 2006,（2）
• 所属期刊栏目: 研究与应用
• 页码范围: 249-256
• 页数: 8页
• 分类号: TP391
• 字数: 6798字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6059.2006.02.021

摘要

处理海量数据一直是数据挖掘要解决的一个重要问题.目前已有许多并行或串行的算法来处理海量数据,然而这些算法通常都不能很好地解决速度和正确率之间的矛盾.分布式运算在处理数据上具有明显优势,因此本文考虑将一个原始的海量数据集分割成许多个独立的小数据集进行分布式处理.本文首先根据Rough Set的特点提出最佳分割的定义,然后提出一种海量数据分割算法来寻找最佳分割.通过实验测试证明结合本文提出的数据分割算法的分布式处理方案能够快速处理海量数据,而且与处理整个数据集的算法相比,正确性较高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王国胤	重庆邮电学院计算机科学与技术研究所	212	6947	36.0	79.0
2	吴渝	重庆邮电学院计算机科学与技术研究所	99	1784	17.0	40.0
3	覃政仁	重庆邮电学院计算机科学与技术研究所	1	21	1.0	1.0