鹏程·盘古:大规模自回归中文预训练语言模型及应用

• 作者: 曾炜 苏腾 王晖 田永鸿 高文
• 来源期刊: 中兴通讯技术
• 关键词: 大规模预训练语言模型 鹏城云脑Ⅱ 大规模分布式训练 中文理解与生成 提示微调学习
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 热点专题|Special Topic
• 页码范围: 33-43
• 页数: 11页
• 语种: 中文
• DOI: 10.12142/ZTETJ.202202006

摘要

在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古.鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从而可将训练任务高效扩展到4096个处理器上.对比实验表明,在少样本或零样本情况下,鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能.在此基础上,鹏程·盘古模型在大模型压缩、提示微调学习、多任务学习以及持续学习等方面也取得了很好的应用效果.