一种轻量级文本蕴含模型

• 作者: 王伟 孙成胜 伍少梅 张芮 康睿 李小俊
• 来源期刊: 四川大学学报（自然科学版）
• 关键词: 注意力机制 卷积神经网络 轻量级 文本蕴含
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 计算机科学|Computer Science
• 页码范围: 31-38
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19907/j.0490-6756.2021.052001

摘要

现有主流文本蕴含模型大多采用循环神经网络编码,并采用各种注意力推理机制或辅以手工提取的特征来提升蕴含关系识别准确率,由于复杂的网络结构和RNNs网络串行机制导致这些模型训练和推理速度较慢.本文提出轻量级文本蕴含模型,采用自注意力编码器编码文本向量,点积注意力交互两段文本,再采用卷积神经网络对交互特征推理,整个结构可根据不同数据的推理难度叠加不同模块数量.在多个文本蕴含数据集实验表明,本文模型在保持较高识别准确率情况下仅用一个块参数仅为665 K,模型推理速度相比其他主流文本蕴含模型至少提升一倍.