用于文本分类的多探测任务语言模型微调

• 作者: 傅群超 王枞
• 来源期刊: 北京邮电大学学报
• 学科: 工学
• 关键词: 探测任务 语言模型 多任务学习 文本分类
• 年，卷（期）: 2019,（6）
• 所属期刊栏目: 论文
• 页码范围: 76-83
• 页数: 8页
• 分类号: TN929.53
• 语种: 中文
• DOI: 10.13190/j.jbupt.2019-149

摘要

预训练语言模型被广泛运用在多项自然语言处理任务中,但是对于不同的任务没有精细的微调.针对文本分类任务,提出基于探测任务的语言模型微调方法,利用探测任务训练模型特定的语言学知识,可提高模型在文本分类任务上的性能.设计了6个探测任务,覆盖句子浅层、语法和语义三方面信息.最后在6个文本分类数据集上验证了本文的方法,使分类错误率得到改善.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王枞	北京邮电大学可信分布式计算与服务教育部重点实验室	45	479	10.0	21.0
2	傅群超	北京邮电大学软件学院	3	120	1.0	3.0