基于MapReduce的SVM改进算法及在邮件过滤中的实现

• 作者: 杨鹤标 陈锦富 黄文青
• 来源期刊: 无线通信技术
• 学科: 工学
• 关键词: 邮件过滤 MapReduce SVM算法 Hadoop 文本分类
• 年，卷（期）: 2013,（2）
• 页码范围: 52-56,62
• 页数: 6页
• 分类号: TP391.1
• 字数: 3438字
• 语种: 中文

摘要

针对海量文本邮件的挖掘过滤需要更大的存储空间、以及更强的计算能力,提出一种基于Hadoop云计算平台的垃圾邮件过滤方法.其思想:把相对孤立的数据集合并成易于云平台处理的大文件集合；依据评估函数构建文本向量,将邮件转换为结构化的描述；基于MapReduce分布式编程模型改进SVM算法,利用集群整体的计算能力求解最优平面.实验表明:该方法能利用廉价的计算机集群代替昂贵的高性能机器实现海量邮件数据的挖掘过滤；并且,分类效率能随着集群规模的扩增而提升较快.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨鹤标	江苏大学计算机学院	78	637	13.0	22.0
2	陈锦富	江苏大学计算机学院	17	78	4.0	8.0
3	黄文青	江苏大学计算机学院	1	4	1.0	1.0