文本词向量与预训练语言模型研究

• 作者: 冯东升 徐菲菲
• 来源期刊: 上海电力大学学报
• 学科: 工学
• 关键词: 文本信息处理 词向量 预训练语言模型 Transformer架构
• 年，卷（期）: 2020,（4）
• 页码范围: 320-328
• 页数: 9页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.2096-8299.2020.04.002

摘要

介绍了文本词向量及预训练语言模型的发展体系,系统整理并分析了其中重点方法的思想特点.首先,阐述了传统的文本词向量表征方法及基于语言模型的文本表征方法;然后,详述了预训练语言模型方法的研究进展,包括动态词向量的表征方法和基于Transformer架构的预训练模型;最后,指出了未来探究多模态间更有效的融合方式和迁移学习将成为该领域的发展趋势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐菲菲		15	157	6.0	12.0
2	冯东升		1	0	0.0	0.0