word2vec-ACV:OOV语境含义的词向量生成模型

• 作者: 李玥 王永贵 郑泽
• 来源期刊: 计算机应用研究
• 关键词: word2vec模型 词向量 共现矩阵 平均上下文词向量
• 年，卷（期）: 2019,（6）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 1623-1628
• 页数: 6页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2017.12.0800

摘要

针对word2vec模型生成的词向量缺乏语境的多义性以及无法创建集外词(OOV)词向量的问题,引入相似信息与word2vec模型相结合,提出word2 vec-ACV模型.该模型首先基于连续词袋(CBOW)和Hierarchicalsoftmax的word2vec模型训练出词向量矩阵即权重矩阵;然后将共现矩阵进行归一化处理得到平均上下文词向量,再将词向量组成平均上下文词向量矩阵;最后将平均上下文词向量矩阵与权重矩阵相乘得到词向量矩阵.为了能同时解决集外词及多义性问题,将平均上下文词向量分为全局平均上下文词向量(global ACV)和局部平均上下文词向量(local ACV)两种,并对两者取权值组成新的平均上下文词向量矩阵,并将word2vec-ACV模型和word2vec模型分别进行类比任务实验和命名实体识别任务实验.实验结果表明,word2vec-ACV模型同时解决了语境多义性以及创建集外词词向量的问题,降低了时间消耗,提升了词向量表达的准确性和对海量词汇的处理能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王永贵	辽宁工程技术大学软件学院	47	293	10.0	15.0
2	郑泽	辽宁工程技术大学软件学院	7	16	2.0	4.0
3	李玥	辽宁工程技术大学软件学院	4	18	2.0	4.0