改进特征权重的短文本聚类算法

• 作者: 孙咏 郭锐锋 马存 高岑
• 来源期刊: 计算机系统应用
• 关键词: 特征权重 情感分析 词向量 RWMD距离
• 年，卷（期）: 2018,（9）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 210-214
• 页数: 5页
• 字数: 3337字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.006554

摘要

短文本的研究一直是自然语言处理领域的热门话题, 由于短文本特征稀疏、用语口语化严重的特点, 它的聚类模型存在维度高、主题聚焦性差、语义信息不明显的问题. 针对对上述问题的研究, 本文提出了一种改进特征权重的短文本聚类算法. 首先, 定义多因子权重规则, 基于词性和符号情感分析构造综合评估函数, 结合词项和文本内容相关度进行特征词选择; 接着, 使用Skip-gram模型(Continuous Skip-gram Model)在大规模语料中训练得到表示特征词语义的词向量; 最后, 利用RWMD算法计算短文本之间的相似度并将其应用K-Means算法中进行聚类.最后在3个测试集上的聚类效果表明, 该算法有效提高了短文本聚类的准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭锐锋	中国科学院沈阳计算技术研究所	69	432	11.0	16.0
2	高岑	中国科学院沈阳计算技术研究所	18	49	4.0	6.0
3	孙咏	中国科学院沈阳计算技术研究所	33	139	6.0	9.0
4	马存		3	9	2.0	3.0