基于预训练模型的文本分类网络TextCGA

• 作者: 杜晔 杨玮祺
• 来源期刊: 现代计算机
• 关键词: 文本分类 预训练模型 CGA模块 TextCGA
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 研究与开发
• 页码范围: 52-57
• 页数: 6页
• 字数: 4638字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-1423.2020.12.010

摘要

文本分类问题是NLP领域的经典问题.当前大部分文本分类网络中所使用的RNN网络存在着短期记忆问题,对于长文本无法进行准确分类.为此,首先将语言模型与分类网络两部分工作解耦,将NLP预训练模型应用于文本分类的任务上,并提出TextCGA文本分类网络.网络用预训练模型作为语言模型,使用预训练模型的强大的语义表示能力对文本进行表示;同时为了解决RNN网络在序列长度较长时的短期记忆问题,使用卷积层、RNN层以及Self-At-tention层搭建了CGA模块,有效解决长序列建模问题;在网络中设置多个CGA模块,使得模型可以从多个感受野捕捉文本特征.实验结果表明,使用预训练模型的TextCGA文本分类网络能够达到较好的文本分类效果,在测试中比对照方法普遍提高1～2％的准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杜晔	北京交通大学计算机与信息技术学院	20	75	6.0	8.0
2	杨玮祺	北京交通大学计算机与信息技术学院	1	0	0.0	0.0