基于改进语义距离的网络评论聚类研究?

• 作者: 杨震 王来涛 赖英旭
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 文本聚类 在线评论 语义距离 长度惩罚 Heap’s Law Zipf’s Law
• 年，卷（期）: 2014,（12）
• 页码范围: 2777-2789
• 页数: 13页
• 分类号: TP181
• 字数: 11932字
• 语种: 中文

摘要

针对在线评论，提出了一种短文本语义距离计算模型，将文本距离看成是形式距离和单元语义距离的综合。首先，在对变异短文本进行预处理的基础上，以中文词语为单位，利用词典进行语义扩展，计算短文本间最大匹配距离，将其作为衡量短文本间形式距离的指标；其次，基于短文本中的实义单元和非实义单元的不同作用，利用改进的编辑距离算法计算短文本的单元语义距离；最后，利用加权的方法将形式距离和单元语义距离综合为文本距离，并将其应用于网络在线评论的聚类分析。特别地，为了缓解短文本长度差异所造成的计算误差，提出利用词表长度对距离进行惩罚，并根据Zipf’s Law和Heap’s Law的对应关系，给出了一种文本词表长度的估计方法，并阐明了文本Zipf指数α对长度惩罚的关键性作用机制。实验结果表明，改进算法优于传统方法，聚类性能显著提升。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赖英旭	北京工业大学计算机学院	54	244	9.0	14.0
2	杨震	北京工业大学计算机学院	30	173	8.0	12.0
3	王来涛	北京工业大学计算机学院	1	14	1.0	1.0