基于词义类簇的文本聚类

• 作者: 唐国瑜 夏云庆 张民 郑方
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 文档聚类 文档表示 话题模型
• 年，卷（期）: 2013,（3）
• 页码范围: 113-119
• 页数: 7页
• 分类号: TP391
• 字数: 5624字
• 语种: 中文

摘要

文档表示是文本聚类的重要组成部分,该文旨在通过改进文档表示改进文本聚类.同义词和多义词现象是文档表示所面临的重要挑战.为此该文提出了词义类簇模型(Sense Cluster Model,SCM),在词义类簇空间上表示文档.SCM首先构造词义类簇空间,然后将文档表示在词义类簇空间上,获得每篇文档在每个词义类簇的概率.在词义类簇空间构造这一步骤中,首先利用词义归纳技术从文本中自动发现词义,接着采用词义聚类技术识别相同或者相似的词义从而获得词义类簇.词义类簇空间构造后,该文首先进行词义消歧,然后利用词义消歧的结果将文档表示在词义空间上.实验表明,SCM在标准测试集上的性能优于基线系统以及经典话题模型LDA.