基于计数模型的Word Embedding算法

• 作者: 张桂平 王裴岩 裴楠
• 来源期刊: 沈阳航空航天大学学报
• 学科: 工学
• 关键词: 词表达 计数模型 分布式词表达 词语相似性
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 信息科学与工程
• 页码范围: 66-72
• 页数: 7页
• 分类号: TP391.41
• 字数: 5570字
• 语种: 中文
• DOI: 10.3969/j.issn.2095-1248.2017.02.011

摘要

Word Embedding是当今非常流行的用于文本处理任务的一种技术.基于计数模型的Word Embedding相比预测模型具有简单、快捷、易训练、善于捕捉词语相似性等优势.基于计数模型,选取2种上下文环境,运用2种权重计算方法和2种相似度计算方法,构建了5种Word Embedding模型.在词语相似性任务上比较和分析了5种Word Embedding模型,发现采用降维策略后的词表达效果要优于降维前的词表达效果;5种模型中,选取窗口上下文,PMI权重计算方法和余弦相似度计算方法的Word Embedding模型在词语相似性任务上表现最为出色.将5种模型和基于预测的Skip-gram模型进行了对比,结果表明在选取训练向量维度为100维时,基于计数的大部分模型在词语相似性任务上可以达到和Skip-gram一样甚至更好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张桂平	沈阳航空航天大学人机智能研究中心	58	447	11.0	19.0
2	王裴岩	沈阳航空航天大学人机智能研究中心	25	100	6.0	9.0
3	裴楠	沈阳航空航天大学人机智能研究中心	1	1	1.0	1.0