基于ERNIE-BiGRU模型的中文文本分类方法

• 作者: 钱叶 雷景生
• 来源期刊: 上海电力大学学报
• 学科: 工学
• 关键词: 文本分类 利用知识增强的语义表示模型 双向门限循环单元模型 预训练模型 知识整合
• 年，卷（期）: 2020,（4）
• 页码范围: 329-335,350
• 页数: 8页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.2096-8299.2020.04.003

摘要

针对新闻文本分类方法中词向量的表示无法很好地保留字在句子中的信息及其多义性,利用知识增强的语义表示(ERNIE)预训练模型,根据上下文计算出字的向量表示,在保留该字上下文信息的同时也能根据字的多义性进行调整,增强了字的语义表示.在ERNIE模型后增加了双向门限循环单元(BiGRU),将训练后的词向量作为BiGRU的输入进行训练,得到文本分类结果.实验表明,该模型在新浪新闻的公开数据集THUCNews上的精确率为94.32％,召回率为94.12％,F1值为0.942 2,在中文文本分类任务中具有良好的性能.