基于隐含主题协同注意力网络的领域分类方法

• 作者: 丁健德 章锦川 艾文程 黄培松 黄沛杰
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 领域分类 协同注意力 隐含主题 BiLSTM BTM
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 信息抽取与文本挖掘
• 页码范围: 73-79
• 页数: 7页
• 分类号: TP391
• 字数: 5524字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2020.02.009

摘要

基于注意力机制的神经网络模型在文本分类任务中显示出了很好的效果.然而当训练数据的规模有限,或者测试数据与训练数据的分布有较大差异时,一些有价值的信息词很难在训练中被模型捕捉到.为此,该文提出了一种新的基于协同注意力(co-attention)网络的领域分类方法.该文利用隐含主题模型学习隐含主题注意力,并将其引入到文本分类常用的双向长短期记忆网络(BiLSTM)中,与研究进展中的软或硬注意力(soft-or hard-at-tention)机制一起构成协同注意力.中文话语领域分类基准语料SMP-ECDT的实验结果表明,隐含主题协同注意力网络取得了显著优于注意力机制研究进展的领域分类效果,比基线注意力机制Soft att、Hard att以及单独的隐含主题注意力机制BTM att分别提高了2.85％、1.86％和1.74％的分类正确率.此外,实验结果还验证了,在额外的未标记数据上训练隐含主题,可以进一步提高该文方法的领域分类性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄沛杰	华南农业大学数学与信息学院	25	72	5.0	7.0
2	黄培松	华南农业大学数学与信息学院	2	0	0.0	0.0
3	丁健德	华南农业大学数学与信息学院	1	0	0.0	0.0
4	艾文程	华南农业大学数学与信息学院	1	0	0.0	0.0
5	章锦川	华南农业大学数学与信息学院	2	0	0.0	0.0