融合基于语言模型的词嵌入和多尺度卷积神经网络的情感分析

• 作者: 付宪瑞 张家重 李贻斌 生伟 赵亚欧
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 情感分析 自然语言处理 卷积神经网络 ELMo 字向量
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 人工智能
• 页码范围: 651-657
• 页数: 7页
• 分类号: TP183
• 字数: 8113字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2019071210

摘要

针对Word2Vec、GloVe等词嵌入技术对多义词只能产生单一语义向量的问题,提出一种融合基于语言模型的词嵌入(ELMo)和多尺度卷积神经网络(MSCNN)的情感分析模型.首先,该模型利用ELMo学习预训练语料,生成上下文相关的词向量;相较于传统词嵌入技术,ELMo利用双向长短程记忆(LSTM)网络融合词语本身特征和词语上下文特征,能够精确表示多义词的多个不同语义;此外,该模型使用预训练的中文字符向量初始化ELMo的嵌入层,相对于随机初始化,该方法可加快模型的训练速度,提高训练精度;然后,该模型利用多尺度卷积神经网络,对词向量的特征进行二次抽取,并进行特征融合,生成句子的整体语义表示;最后,经过softmax激励函数实现文本情感倾向的分类.实验在公开的酒店评论和NLPCC2014 task2两个数据集上进行,实验结果表明,在酒店评论数据集上与基于注意力的双向LSTM模型相比,该模型正确率提升了1.08个百分点,在NLPCC2014 task2数据集上与LSTM和卷积神经网络(CNN)的混合模型相比,该模型正确率提升了2.16个百分点,证明了所提方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李贻斌	山东大学控制科学与工程学院	90	1377	21.0	34.0
2	赵亚欧		3	3	1.0	1.0
4	张家重		3	0	0.0	0.0
7	付宪瑞		1	0	0.0	0.0
8	生伟		1	0	0.0	0.0