融合多头自注意力机制的中文分类方法

• 作者: 严佩敏 熊漩
• 来源期刊: 电子测量技术
• 学科: 工学
• 关键词: 中文文本分类 Text-CNN Multi-Head Self-Attention
• 年，卷（期）: 2020,（10）
• 所属期刊栏目: 信息技术及图像处理
• 页码范围: 125-130
• 页数: 6页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.19651/j.cnki.emt.1904068

摘要

中文文本分类任务中,深度学习神经网络方法具有自动提取特征、特征表达能力强的优势,但其模型可解释性不强.提出了一种Text-CNN+Multi-Head Attention模型,引入多头自注意力机制克服Text-CNN可解释性的不足.首先采用Text-CNN神经网络,高效提取文本局部特征信息;然后通过引入多头自注意力机制,最大限度发挥Text-CNN的并行运算能力,强调文本序列全局信息的捕捉;最后在时间和空间上完成对文本信息的特征提取.实验结果表明,提出的模型较其他模型在保证运算速度的同时,准确率提升了1％～2％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	严佩敏		27	79	4.0	7.0
2	熊漩		1	0	0.0	0.0