基于宽度和词向量特征的文本分类模型

• 作者: 李雪松
• 来源期刊: 计算机系统应用
• 关键词: Word2Vec FastText WideText 文本分类
• 年，卷（期）: 2021,（3）
• 所属期刊栏目: 软件技术·算法|Software Technique·Algorithm
• 页码范围: 177-183
• 页数: 7页
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.007827

摘要

针对词向量文本分类模型记忆能力弱,缺少全局词特征信息等问题,提出基于宽度和词向量特征的文本分类模型(WideText):首先对文本进行清洗、分词、词元编码和定义词典等,计算全局词元的词频-逆文档频度(TF-IDF)指标并将每条文本向量化,将输入文本中的词通过编码映射到词嵌入矩阵中,词向量特征经嵌入和平均叠加后,和基于TF-IDF的文本向量特征进行拼接,传入到输出层后计算属于每个分类的概率.该模型在低维词向量的基础上结合了文本向量特征的表达能力,具有良好的泛化和记忆能力.实验结果表明,在引入宽度特征后,WideText分类性能不仅较词向量文本分类模型有明显提升,且略优于前馈神经网络分类器.