基于fastText模型的词向量表示改进算法

• 作者: 余小燕 吴运兵 郑一江 阴爱英
• 来源期刊: 福州大学学报（自然科学版）
• 学科: 工学
• 关键词: 词向量 skip-gram模型 fastText模型 自然语言处理
• 年，卷（期）: 2019,（3）
• 页码范围: 314-319
• 页数: 6页
• 分类号: TP391
• 字数: 4422字
• 语种: 中文
• DOI: 10.7631/issn.1000-2243.18314

摘要

传统词向量表示模型往往忽视了单词间的句法形态结构,导致模型预测准确率不高.为此,提出基于fastText模型的词向量表示改进算法.首先,在训练模型数据集上,引入stopwords处理技术,剔除一些无意义介词等对预测模型干扰,减少噪声数据;其次,针对fastText模型中n-gram分解格式进行限定,将分解条件设置为符合英文单词的组成结构;最后,去除fastText模型中单词前后缀标记符,减少无用分解对模型预测产生干扰.实验结果表明,与fastText模型相比,所提出的改进模型在单词关系评分、语义相似性、句法相似性均取得较好的准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	阴爱英	福州大学至诚学院计算机工程系	11	52	4.0	7.0
2	吴运兵	福州大学数学与计算机科学学院	19	93	5.0	9.0
3	郑一江	福州大学数学与计算机科学学院	1	1	1.0	1.0
4	余小燕	福州大学数学与计算机科学学院	9	29	3.0	5.0