基于LSTM-Attention的中文新闻文本分类

• 作者: 徐蔚 汪敦志 潘鹏程 蓝雯飞
• 来源期刊: 中南民族大学学报（自然科学版）
• 学科: 工学
• 关键词: 自然语言处理 深度学习 文本分类 长短时记忆神经网络 注意力机制
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 计算机科学
• 页码范围: 129-133
• 页数: 5页
• 分类号: TP183
• 字数: 3980字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-4321.2018.03.026

摘要

经典的LSTM分类模型,一种是利用LSTM最后时刻的输出作为高一级的表示,而另一种是将所有时刻的LSTM输出求平均作为高一级的表示.这两种表示都存在一定的缺陷,第一种缺失了前面的输出信息,另一种没有体现每个时刻输出信息的不同重要程度.为了解决此问题,引入 Attention机制,对 LSTM 模型进行改进,设计了LSTM-Attention模型.实验结果表明:LSTM分类模型比传统的机器学习方法分类效果更好,而引入Attention机制后的LSTM模型相比于经典的文本分类模型,分类效果也有了一定程度的提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蓝雯飞	中南民族大学计算机科学学院	58	248	8.0	12.0
2	徐蔚	中南民族大学计算机科学学院	2	20	2.0	2.0
3	汪敦志	中南民族大学计算机科学学院	2	12	1.0	2.0
4	潘鹏程	中南民族大学计算机科学学院	1	12	1.0	1.0