基于特征词向量的短文本聚类算法

• 作者: 佘贤栋 刘欣 唐永旺 王波
• 来源期刊: 数据采集与处理
• 学科: 工学
• 关键词: 短文本 特征词 词向量 相似度计算 聚类
• 年，卷（期）: 2017,（5）
• 页码范围: 1052-1060
• 页数: 9页
• 分类号: TP391.1
• 字数: 6555字
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2017.05.023

摘要

针对互联网短文本特征稀疏和速度更新快而导致的短文本聚类性能较差的问题,本文提出了一种基于特征词向量的短文本聚类算法.首先,定义基于词性和词长度加权的特征词提取公式并提取特征词代表短文本;然后,使用Skip-gram模型(Continous skip-gram model)在大规模语料中训练得到表示特征词语义的词向量;最后,引入词语游走距离(Word mover's distance,WMD)来计算短文本间的相似度并将其应用到层次聚类算法中实现短文本聚类.在4个测试数据集上的评测结果表明,本文方法的效果明显优于传统的聚类算法,平均F值较次优结果提高了56.41％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王波	解放军信息工程大学信息系统工程学院	19	157	7.0	12.0
2	唐永旺	解放军信息工程大学信息系统工程学院	6	30	4.0	5.0
3	刘欣	解放军信息工程大学信息系统工程学院	3	27	2.0	3.0