Spark平台下的短文本特征扩展与分类研究

• 作者: 孙辉 李翠平 王雯 赵衎衎 陈红
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 短文本分类 特征扩展 关联规则 Spark平台
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 数据库技术
• 页码范围: 732-741
• 页数: 10页
• 分类号: TP391
• 字数: 7979字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1608041

摘要

短文本分类经常面临特征维度高、特征稀疏、分类准确率差的问题.特征扩展是解决上述问题的有效方法,但却面临更大的短文本分类效率瓶颈.结合以上问题和现状,针对如何提升短文本分类准确率及效率进行了详细研究,提出了一种Spark平台上的基于关联规则挖掘的短文本特征扩展及分类方法.该方法首先采用背景语料库,通过关联规则挖掘的方式对原短文本进行特征补充;其次针对分类过程,提出基于距离选择的层叠支持向量机(support vector machine,SVM)算法;最后设计Spark平台上的短文本特征扩展与分类算法,通过分布式算法设计,提高短文本处理的效率.实验结果显示,采用提出的Spark平台上基于关联规则挖掘的短文本特征扩展方法后,针对大数据集,Spark集群上短文本特征扩展及分类效率约为传统单机上效率的4倍,且相比于传统分类实验,平均得到约15％的效率提升,其中特征扩展及分类优化准确率提升分别为10％与 5％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈红	中国人民大学数据工程与知识工程教育部重点实验室	86	978	16.0	29.0
5	李翠平	中国人民大学数据工程与知识工程教育部重点实验室	20	297	8.0	17.0
9	王雯	中国人民大学数据工程与知识工程教育部重点实验室	27	128	7.0	10.0
13	赵衎衎	中国人民大学数据工程与知识工程教育部重点实验室	2	12	1.0	2.0