基于BERT-BILSTM的医疗文本关系提取方法

• 作者: 龚汝鑫 余肖生
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 关系提取 双向长短期记忆神经网络 注意力机制 健康医疗文本 BERT
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 应用前沿与综合
• 页码范围: 186-192
• 页数: 7页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2022.04.032

摘要

健康医疗文本关系提取可充分利用医疗资源,为构建医院系统和相关知识图谱奠定基础,但健康医疗文本上下文联系紧密,内容结构复杂,使用传统的机器学习方法无法充分学习并利用文本中所包含的信息,且由于未针对文本中包含的医疗领域专业名词进行处理,使研究所需的重要实体流失,导致准确率不高.因此,提出了一种基于BERT和BILSTM融合的健康医疗文本关系提取方法,在预处理阶段进行医疗关键词提取,使用BERT语言模型进行词嵌入,再结合BILSTM和注意力机制进行特征处理,最后使用Softmax分类器输出类别概率值,确定实体间关系类别.基于两个临床医疗数据集的实验验证结果,与单向LSTM、CNN、BIGRU等模型进行比较分析,BERT-BILSTM-ATT模型表现最优,精确率提高3.35％以上、召回率提高1.28％以上、F1值提高2.58％以上,基于BERT和BILSTM融合的健康医疗文本关系提取方法能准确有效地预测健康医疗文本中实体之间存在的关系类别.