基于word2vec词模型的中文短文本分类方法

• 作者: 李经纬 高明霞
• 来源期刊: 山东大学学报（工学版）
• 学科: 工学
• 关键词: 短文本 中文文本分类 维基百科 word2vec 词模型
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 机器学习与数据挖掘
• 页码范围: 34-41
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.6040/j.issn.1672-3961.0.2018.197

摘要

针对受字数限定影响的文本特征表达能力弱成为短文本分类中制约效果的主要问题,提出基于word2vec维基百科词模型的中文短文本分类方法(chinese short text classification method based on embedding trained by word2vec from wikipedia,CSTC-EWW),并针对新浪爱问4个主题的短文本集进行相关试验.首先训练维基百科语料库并获取word2vec词模型,然后建立基于此模型的短文本特征,通过SVM、贝叶斯等经典分类器对短文本进行分类.试验结果表明:本研究提出的方法可以有效进行短文本分类,最好情况下的F-度量值可达到81.8％;和词袋(bag-of-words,BOW)模型结合词频-逆文件频率(term frequency-inverse document frequency,TF-IDF)加权表达特征的短文本分类方法以及同样引入外来维基百科语料扩充特征的短文本分类方法相比,本研究分类效果更好,最好情况下的F-度量提高45.2％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高明霞	北京工业大学信息学部	17	124	7.0	10.0
2	李经纬	北京工业大学信息学部	1	14	1.0	1.0