基于迁移学习的个性化循环神经网络语言模型

• 作者: 刘静静 吴凡 吴超 徐萍 林建伟 胡峰俊
• 来源期刊: 南京理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 语言模型 个性化 循环神经网络 迁移学习 小数据集 预训练词向量
• 年，卷（期）: 2018,（4）
• 页码范围: 401-408
• 页数: 8页
• 分类号: TP391
• 字数: 6324字
• 语种: 中文
• DOI: 10.14177/j.cnki.32-1397n.2018.42.04.003

摘要

针对在小数据集上开发个性化语言模型仍存在的障碍,提出基于迁移学习的个性化循环神经网络语言模型.设计了基于预训练词向量、预训练电影剧本数据集、基于参数微调和特征提取分类器的迁移学习训练模式,在小数据集上建立了具有较高辨识度的个性化语言模型,降低了模型的困惑度,改进了模型的性能.模型的实验以电视剧Seinfeld角色为基础.结果表明:该模型在特定角色测试数据集上的困惑度比其他角色数据集平均低17.65％,证明其已经学会了该角色的个性化风格;迁移学习使得模型最低困惑度平均降低了36.38％,较好地解决了基于小数据集开发个性化语言模型存在的障碍问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐萍	浙江树人大学信息科技学院	27	69	4.0	7.0
2	林建伟	浙江树人大学信息科技学院	8	11	3.0	3.0
3	吴超	浙江大学计算机科学与技术学院	22	94	5.0	9.0
4	胡峰俊	浙江树人大学信息科技学院	11	26	3.0	4.0
5	吴凡	浙江树人大学信息科技学院	16	21	3.0	4.0
6	刘静静	浙江树人大学信息科技学院	8	5	1.0	2.0