Siamese-ELECTRA网络结合对抗训练的FAQ问答模型研究

• 作者: 王仲林 王卫民 朱乐俊
• 来源期刊: 软件导刊
• 关键词: Siamese网络 ELECTRA FAQ 对抗训练 问答模型
• 年，卷（期）: 2021,（8）
• 所属期刊栏目: 人工智能
• 页码范围: 58-64
• 页数: 7页
• 分类号: TP393
• 语种: 中文
• DOI: 10.11907/rjdk.202353

摘要

FAQ问答系统可基于用户提出的问题在标准问题集合中自动检索出一条或多条最相似的问题,并以该问题的标准答案作为解答.针对传统基于向量空间模型的方法只能表征文本浅层语义变化,以及BERT模型句对分类任务预测效率低等问题,提出一种基于Siamese-ELECTRA网络的FAQ检索式问答模型,将语义上相似问句的特征向量映射到相近的空间,基于向量距离公式快速计算语义相似性得分.同时,为了提升模型的鲁棒性和泛化能力,在训练模型时加入对抗训练算法FGM,对嵌入层参数矩阵进行梯度扰动;针对FAQ数据集通常只标注正样本导致负采样不充分、分类比例难平衡问题,引入无需在数据集中添加负样本即可训练的多重否定损失.实验表明,该模型相较于多种已有方法有较大提升,能够实现相似问题检索服务的毫秒级响应,具有一定的应用价值.