一种新颖的词聚类算法

• 作者: 袁里驰 钟义信
• 来源期刊: 四川大学学报(自然科学版)
• 学科: 文学
• 关键词: 词相似度 词聚类 统计语言模型
• 年，卷（期）: 2004,（z1）
• 页码范围: 522-525
• 页数: 4页
• 分类号: H1
• 字数: 2147字
• 语种: 中文
• DOI: 10.3969/j.issn.0490-6756.2004.z1.122

摘要

基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法.传统的统计方法基于贪婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准.这种传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优.本文提出了一种新颖的词相似度定义,在词相似度的基础上,还首次给出了词集合相似度的定义.基于相似度,提出了一种自下而上的分层聚类算法,这种方法不但能改善聚类效果,而且可根据不同的模型选择不同的相似度定义,因而提高聚类的使用效果.实验证明,该算法在计算复杂度和聚类效果上比传统的基于贪婪原则的统计聚类算法都有明显的改进.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钟义信	北京邮电大学信息工程学院	128	2678	27.0	48.0
2	袁里驰	北京邮电大学信息工程学院	4	29	2.0	4.0