基于统计语言模型改进的Word2Vec优化策略研究

• 作者: 史泰猛 张克君 李伟男 钱榕
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 词向量 统计语言模型 TFIDF 文本关键词 CBOW-TFIDF
• 年，卷（期）: 2019,（7）
• 所属期刊栏目: 语言分析与计算
• 页码范围: 11-19
• 页数: 9页
• 分类号: TP391
• 字数: 5595字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2019.07.002

摘要

该文从训练词向量的语言模型入手,研究了经典skip-gram、CBOW语言模型训练出的词向量的优缺点,引入TFIDF文本关键词计算法,提出了一种基于关键词改进的语言模型.研究发现,经典skip-gram、CBOW语言模型只考虑到词本身与其上下文的联系,而改进的语言模型通过文本关键词建立了词本身与整个文本之间的联系,在词向量训练结果的查准率和相似度方面,改进模型训练出的词向量较skip-gram、CBOW语言模型有一个小幅度的提升.通过基于维基百科1.5GB中文语料的词向量训练实验对比后发现,使用CBOW-T FIDF模型训练出的词向量在相似词测试任务中结果最佳;把改进的词向量应用到情感倾向性分析任务中,正向评价的精确率和F1值分别提高了4.79％ 、4.92％,因此基于统计语言模型改进的词向量,对于情感倾向性分析等以词向量为基础的应用研究工作有较为重要的实践意义.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张克君		16	61	5.0	7.0
2	李伟男		2	12	2.0	2.0
4	钱榕		6	23	3.0	4.0
5	史泰猛		2	12	2.0	2.0