基于深度学习的语法纠错算法建模研究

• 作者: 郭琰 张矛
• 来源期刊: 信息技术
• 关键词: seq2seq算法 注意力机制 Transformer模块 语法纠错
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 应用技术|APPLIED TECHNOLOGY
• 页码范围: 148-152,158
• 页数: 6页
• 分类号: TP181
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2021.04.027

摘要

基于基础seq2seq深度学习算法在语法纠错准确率和召回率方面存在的不足,提出了融合Attention机制和Transformer模块的改进型seq2seq语法纠错算法.通过引入Attention机制来记录decoder端和encoder端语言信息,提升信息完整性,采用beam-search和copy机制进行启发式搜索,缓解解空间对机器内存的消耗,利用Transformer模块进行自注意力机制的特征抽取,实现了语句向量数据的扩充并得到可解析上下文纠错.最后选择合适的语料库,对不同的语法纠错算法的准确率、召唤率和F0.5数据语法纠错效果评价指标进行了比较,结果表明了文中改进的算法模型的有效性,提高了语法纠错的准确率和召回率.