基于非均衡局部敏感哈希的并行文本分类研究

• 作者: 刘斌 李涛 赵彤
• 来源期刊: 微电子学与计算机
• 关键词: KNN 非均衡局部敏感哈希 Hadoop Spark
• 年，卷（期）: 2017,（12）
• 页码范围: 67-73
• 页数: 7页
• 分类号: TP31
• 语种: 中文

摘要

针对KNN分类算法在面对海量文本处理时效率低下的问题,提出了一种基于超平面的非均衡局部敏感哈希分类算法,该分类算法相比于传统的局部敏感哈希算法在提高分类的准确性和实时性上有显著的效果.同时,为了进一步降低分类算法的执行时间,提高分类效率,将该分类算法与Spark并行计算模型结合,在大数据处理平台Hadoop上实现了一种高效的并行文本分类系统.实验结果表明,所设计的文本分类系统在具有较高分类速度的同时保持了较高的分类准确性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘斌	南京工业大学计算机科学与技术学院	28	203	7.0	13.0
2	李涛	南京工业大学计算机科学与技术学院	29	95	7.0	8.0
3	赵彤	南京工业大学计算机科学与技术学院	1	1	1.0	1.0