基于注意力机制和RECWE模型的中文词向量方法

• 作者: 张云华 高统超
• 来源期刊: 网络空间安全
• 学科: 工学
• 关键词: 词向量 注意力机制 语义信息 RECWE
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 新技术与应用安全
• 页码范围: 96-103
• 页数: 8页
• 分类号: TP391.1
• 字数: 5410字
• 语种: 中文

摘要

词向量是支撑自然语言处理的重要基础,为了解决目前的RECWE(Radical Enhanced Chinese Word Embedding)模型没有合理利用上下文词语贡献度不同、各词语中汉字及其偏旁部首和组件的贡献度不同的问题,提出了结合注意机制改进的RECWE模型,将模型的两个预测模型引入不同类型的注意力机制.实验结果表明,改进的RECWE模型与原模型相比,在相似度任务上,两份评测文件的成绩分别提高2.89％和1.04％;在类比任务上,三个主题的平均成绩提高2.07％,有效提高词向量的质量.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张云华	浙江理工大学信息学院	76	342	11.0	16.0
2	高统超	浙江理工大学信息学院	2	0	0.0	0.0