联合知识的融合训练模型

• 作者: 王永鹏 周晓磊 马慧敏 曹吉龙
• 来源期刊: 计算机系统应用
• 关键词: 知识融合 医疗短文本 BERT模型 联合训练 文本分类
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 专论·综述|Special Issue
• 页码范围: 50-56
• 页数: 7页
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.008031

摘要

在互联网医疗领域, 智能AI分科室是一个很关键的环节, 就是根据患者病情描述、疾病特征、药品等信息将患者分配到匹配的科室, 可以利用深层双向Transformer结构的BERT预训练语言模型增强字的语义, 但是患者病情文本描述具有信息稀疏的特点, 不利于BERT的充分学习其中特征. 本文提出了一种DNNBERT模型. 是一种融合知识的联合训练模型, DNNBERT结合了神经网络(DNN)和Transformer模型的优势, 能从文本中学习到更多的语义. 实验证明DNNBERT的计算时间相比BERT-large速度提升1.7倍, 并且准确率比ALBERT的F1值提高了0.12, 比TextCNN提高了0.17, 本文的工作将为特征稀疏学习提供新思路, 也将为基于深度Transformer的模型应用于生产提供新的思路.