融入注意力机制的越南语组块识别方法

• 作者: 毕玉德 王闻慧 雷树杰
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 越南语 组块识别 Bi-LSTM+ CRF模型 注意力机制
• 年，卷（期）: 2019,（12）
• 所属期刊栏目: 民族语言及周边语言信息处理
• 页码范围: 91-100
• 页数: 10页
• 分类号: TP391
• 字数: 7490字
• 语种: 中文

摘要

对于越南语组块识别任务,在前期对越南语组块内部词性构成模式进行统计调查的基础上,该文针对Bi-LSTM+CRF模型提出了两种融入注意力机制的方法:一是在输入层融入注意力机制,从而使得模型能够灵活调整输入的词向量与词性特征向量各自的权重;二是在Bi-LSTM之上加入了多头注意力机制,从而使模型能够学习到Bi-LSTM输出值的权重矩阵,进而有选择地聚焦于重要信息.实验结果表明,在输入层融入注意力机制后,模型对组块识别的F值提升了3.08％,在Bi-LSTM之上加入了多头注意力机制之后,模型对组块识别的F值提升了4.56％,证明了这两种方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	毕玉德	复旦大学外国语言文学学院	2	0	0.0	0.0