基于BERT模型的医学短文本分类算法研究

• 作者: 田晗 徐春
• 来源期刊: 伊犁师范学院学报（自然科学版）
• 学科: 工学
• 关键词: 医学短文本分类 预训练语言模型 循环神经网络
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 电子信息·计算机科学
• 页码范围: 50-57
• 页数: 8页
• 分类号: TP183
• 语种: 中文
• DOI: 10.3969/j.issn.1673-999X.2021.04.008

摘要

提出基于预训练语言模型的医疗命名实体审核算法.首先借助BERT预训练模型对短文本数据进行句子层面的特征向量表示;然后通过构建循环神经网络和迁移学习模型实现短文本分类;最后在参数相同的条件下,将获得的文本特征向量分别输入到循环神经网络和迁移学习模型中进行训练.实验结果表明,与迁移学习相比,基于BERT和循环神经网络模型的医疗命名实体审核模型的精确率和稳定性都有所提升,其在测试集上的精确率最高可达93.2％,具有更好的短文本分类效果.