基于时间感知注意力机制的混合编码网络方法

• 作者: 宁春梅 孙博 肖敬先 陈廷伟
• 来源期刊: 山东大学学报（工学版）
• 学科: 工学
• 关键词: 特定领域对话系统 元学习 用户意图时间感知注意机制 混合编码网络 时间感知递归单元
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 机器学习与数据挖掘|Machine Learning & Data Mining
• 页码范围: 23-30,40
• 页数: 9页
• 分类号: TP181
• 语种: 中文
• DOI: 10.6040/j.issn.1672-3961.0.2021.287

摘要

传统的混合编码网络在小样本数据训练情况下,捕捉用户意图与语义分析方面存在局限性,很难应用到新领域进行迁移训练.时间感知注意混合编码网络(time-aware attention hybrid code networks,TAA-HCN)通过构建时间感知的注意力机制和用户意图集成(user intent integration,UII)的门控机制建模用户意图与动作措施的关系,捕捉用户意图随时间动态变化,结合元学习的思想进行模型梯度自适应,以便模型快速收敛.TAA-HCN模型在WOZ数据集与BABI数据集上进行试验与分析,当目标域数据为总数据的5％时,F1与BLEU指标几乎全收敛,且准确率为69.3％,这表明了本研究的模型具有仅需很少的目标数据即可实现良好性能的能力.