基于注意力机制的双层LSTM自动作文评分系统

• 作者: 刘俊 夏林中 张振久 管明祥 罗德安 龚爱平
• 来源期刊: 深圳大学学报（理工版）
• 学科: 工学
• 关键词: 人工智能 自然语言处理 自动作文评分 长短时记忆网络 注意力机制 二次加权kappa系数
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 电子与信息科学
• 页码范围: 559-566
• 页数: 8页
• 分类号: TP18
• 语种: 中文
• DOI: 10.3724/SP.J.1249.2020.06559

摘要

研究一种基于新型神经网络结构的自动作文评分模型,该模型包括双层长短时记忆(two-layer long short-term memory,LSTM)神经网络层和注意力机制层,模型输入层的词向量通过word embedding预训练谷歌文本库生成.相较于基于本地文本数据集预训练,预训练谷歌文本库生成的词向量含有更丰富的上下文语义信息及依赖关系;双层长短时记忆网络的下层抽取上下文语义信息及隐藏的上下文依赖关系,上层捕获更深层次的上下文依赖关系;注意力机制依据双层长短时记忆网络的输出计算注意力概率,以突出关键信息在文本中的重要程度.模型所使用数据集由Hewlett基金提供,并以二次加权kappa系数作为模型的评估指标.实验结果表明,对比其他基准模型(如双向LSTM模型和SKIPFLOW-LSTM模型等),基于注意力机制的双层LSTM模型所获二次加权kappa系数平均值最好.