基于神经网络语言模型的分布式词向量研究进展

• 作者: 傅云斌 董启文 郁可人
• 来源期刊: 华东师范大学学报（自然科学版）
• 学科: 工学
• 关键词: 词向量 语言模型 神经网络
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 大数据分析
• 页码范围: 52-65,79
• 页数: 15页
• 分类号: TP391
• 字数: 11523字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-5641.2017.05.006

摘要

单词向量化是自然语言处理领域中的重要研究课题之一,其核心是对文本中的单词建模,用一个较低维的向量来表征每个单词.生成词向量的方式有很多,目前性能最佳的是基于神经网络语言模型生成的分布式词向量,Google公司在2012年推出的Word2vec开源工具就是其中之一.分布式词向量已被应用于聚类、命名实体识别、词性分析等自然语言处理任务中,它的性能依赖于神经网络语言模型本身的性能,并与语言模型处理的具体任务有关.本文从三个方面介绍基于神经网络的分布式词向量,包括:经典神经网络语言模型的构建方法;对语言模型中存在的多分类问题的优化方法;如何利用辅助结构训练词向量.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	董启文	华东师范大学数据科学与工程学院	8	41	4.0	6.0
2	傅云斌	华东师范大学数据科学与工程学院	5	27	3.0	5.0
3	郁可人	华东师范大学数据科学与工程学院	2	12	2.0	2.0