ALICE:一种面向中文科技文本分析的预训练语言表征模型

• 作者: 李宁波 王英杰 谢彬
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 预训练模型 迁移学习 BERT模型 文本分类 命名实体识别 自然语言推断
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 人工智能与模式识别
• 页码范围: 48-52,58
• 页数: 6页
• 分类号: TP391
• 字数: 4392字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0055246

摘要

深度学习模型应用于自然语言处理任务时依赖大型、高质量的人工标注数据集.为降低深度学习模型对大型数据集的依赖,提出一种基于BERT的中文科技自然语言处理预训练模型ALICE.通过对遮罩语言模型进行改进并将其与命名实体级遮罩相结合,改善基础模型在下游任务中的表现,使其学习到的语言表征更贴合中文的语言特性.实验结果表明,与BERT模型相比,ALICE模型对于中文科技文本的分类准确率和命名实体识别的F1值分别提高1.2％和0.8％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王英杰	中国电子科技集团公司第三十二研究所	2	0	0.0	0.0
2	谢彬	中国电子科技集团公司第三十二研究所	12	42	4.0	6.0
3	李宁波	中国电子科技集团公司第三十二研究所	6	5	1.0	1.0