基于Spark的快速短文本数据流分类方法

• 作者: 李培培 胡学钢 胡阳
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 短文本数据流分类 分布式处理 Spark环境 概念漂移
• 年，卷（期）: 2020,（14）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 138-147
• 页数: 10页
• 分类号: TP181
• 字数: 8783字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1905-0031

摘要

微博、脸书等社交网络平台涌现的短文本数据流具有海量、高维稀疏、快速可变等特性,使得短文本数据流分类面临着巨大挑战.已有的短文本数据流分类方法难以有效地解决特征高维稀疏问题,并且在处理海量数据流时时间代价较高.基于此,提出一种基于Spark的分布式快速短文本数据流分类方法.一方面,利用外部语料库构建Word2vec词向量模型解决了短文本的高维稀疏问题,并构建扩展词向量库以适应文本的快速可变性,提出一种LR分类器集成模型用于短文本数据流分类,该分类器使用一种FTRL方法实现模型参数的在线更新,并引入时间因子加权机制以适应概念漂移环境;另一方面,所提方法的使用分布式处理提高了海量短文本数据流的处理效率.在3个真实短文本数据流上的实验表明:所提方法在提高分类精度的同时,降低了时间消耗.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡学钢	合肥工业大学计算机与信息学院	314	3156	27.0	39.0
3	李培培	合肥工业大学计算机与信息学院	24	142	6.0	11.0
4	胡阳	合肥工业大学计算机与信息学院	2	0	0.0	0.0