自然语言处理技术发展

• 作者: 王海宁
• 来源期刊: 中兴通讯技术
• 关键词: 自然语言处理 预训练语言模型 Transformer GPT BERT XLNet 模型优化
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 专家论坛|Expert Forum
• 页码范围: 59-64
• 页数: 6页
• 语种: 中文
• DOI: 10.12142/ZTETJ.202202009

摘要

基于神经网络和深度学习的预训练语言模型为自然语言处理技术带来了突破性发展.基于自注意力机制的Transformer模型是预训练语言模型的基础.GPT、BERT、XLNet等大规模预训练语言模型均基于Transformer模型进行堆叠和优化.认为目前依赖强大算力和海量数据的大规模预训练语言模型存在实用问题,指出轻量预训练语言模型是未来重要的发展方向.