基于关键词相似度的短文本分类方法研究

• 作者: 张振豪 王吉祥 过弋 韩美琪
• 来源期刊: 计算机应用研究
• 关键词: 词向量 特征选择 短文本分类 特征权重
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 26-29
• 页数: 4页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.04.0440

摘要

在传统的文本分类中,文本向量空间矩阵存在维数灾难和极度稀疏等问题,而提取与类别最相关的关键词作为文本分类的特征有助于解决以上两个问题.针对以上结论进行研究,提出了一种基于关键词相似度的短文本分类框架.该框架首先通过大量语料训练得到word2vec词向量模型;然后通过TextRank获得每一类文本的关键词,在关键词集合中进行去重操作作为特征集合.对于任意特征,通过词向量模型计算短文本中每个词与该特征的相似度,选择最大相似度作为该特征的权重.最后选择K近邻(KNN)和支持向量机(SVM)作为分类器训练算法.实验基于中文新闻标题数据集,与传统的短文本分类方法相比,分类效果约平均提升了6％,从而验证了该框架的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张振豪	华东理工大学信息科学与工程学院	2	12	1.0	2.0
2	韩美琪	华东理工大学信息科学与工程学院	2	12	1.0	2.0
3	王吉祥	华东理工大学信息科学与工程学院	3	0	0.0	0.0