基于混合深度学习的多模态场景指令分类方法

• 作者: 吴桂玲
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 深度学习 自然语言处理 多模态 双向LSTM 生成式对抗网络
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 人工智能与识别
• 页码范围: 176-180,187
• 页数: 6页
• 分类号: TP311
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2022.01.026

摘要

为提高家庭服务机器人指令中目标对象预测的准确率,提出一种基于混合深度学习的多模态自然语言理处理(Natural Language Processing,NLP)指令分类方法.该方法从语言特征、视觉特征和关系特征多模态入手,采用两种深度学习方法分别以多模态特征进行编码.对于语言指令,采用多层双向长短期记忆(Bi-LSTM)进行子词嵌入和编码;对于非语言场景,使用卷积神经网络进行编码.最终得到每个目标-源对可能性的区域范围.实验结果表明,该方法能够提高机器人接收指令任务中目标对象预测的准确率且性能优于现有其他方法.