基于Spark与词语相关度的KNN文本分类算法

• 作者: 于苹苹 倪建成 姚彬修 曹博 韦锦涛
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: K-最近邻 词语相关度 Spark 并行化计算
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 87-92
• 页数: 6页
• 分类号: TP391
• 字数: 5343字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2018.03.018

摘要

针对K-最近邻(KNN)分类算法在当前大数据背景下分类效率降低、分类效果不理想的问题,提出了一种基于Spark框架与词语相关度优化的高效KNN文本分类算法.在相似度计算过程中,采用词语相关度将文本词语间的关系考虑在内,对分类算法相似度计算进行优化,从而提高文本分类的准确度;依托Spark计算框架的内存处理机制,实现文本分类的并行化,从而提高KNN文本分类算法的处理效率,同时在并行化过程中建立类别-距离向量,以进一步加快文本分类的处理速度.实验结果表明,Spark框架下基于词语相关度的KNN文本分类算法在保证分类效果的基础上大大提高了分类效率,较Hadoop平台有较好的加速比,可有效地对大数据进行分类处理.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	倪建成	曲阜师范大学软件学院	31	137	7.0	10.0
2	姚彬修	曲阜师范大学信息科学与工程学院	7	84	5.0	7.0
3	于苹苹	曲阜师范大学信息科学与工程学院	7	84	5.0	7.0
4	曹博	曲阜师范大学信息科学与工程学院	7	84	5.0	7.0
5	韦锦涛	曲阜师范大学软件学院	6	3	1.0	1.0