基于自注意力机制的中文标点符号预测模型

• 作者: 梁少虎 段大高 赵振东 韩忠明
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 标点符号预测 自注意力机制 Bi-LSTM网络 深度神经网络 自然语言处理
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 开发研究与工程应用
• 页码范围: 291-297
• 页数: 7页
• 分类号: TP18
• 字数: 6368字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0054243

摘要

中文标点符号预测是自然语言处理的一项重要任务,能够帮助人们消除歧义,更准确地理解文本.为解决传统自注意力机制模型不能处理序列位置信息的问题,提出一种基于自注意力机制的中文标点符号预测模型.在自注意力机制的基础上堆叠多层Bi-LSTM网络,并结合词性与语法信息进行联合学习,完成标点符号预测.自注意力机制可以捕获任意两个词的关系而不依赖距离,同时词性和语法信息能够提升预测标点符号的正确率.在真实新闻数据集上的实验结果表明,该模型F1值达到85.63％,明显高于传统CRF、LSTM预测方法,可实现对中文标点符号的准确预测.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	段大高	北京工商大学计算机与信息工程学院	31	326	9.0	17.0
2	韩忠明	北京工商大学计算机与信息工程学院	51	631	14.0	23.0
3	赵振东	北京工商大学计算机与信息工程学院	4	9	2.0	3.0
4	梁少虎	北京工商大学计算机与信息工程学院	3	4	1.0	2.0