一种基于Pitman-Yor过程模型的不平衡文本数据集聚类算法

• 作者: 钟文良 黄瑞章
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 文本聚类 不平衡数据集 Pitman-Yor过程
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 算法与分析
• 页码范围: 311-318
• 页数: 8页
• 分类号: TP312
• 字数: 6373字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2017.02.021

摘要

在现实生活中,文本数据集的结构常常体现不平衡性,不同类别的文本数量存在较大差异,既包含极大的多样本类,也包含极小的多少样本类.传统的文本聚类方法,对于极大类存在分配偏见,使得极大类更容易吸引新的文本数据的加入.因此,如何找到这种不平衡文本数据集的文本结构,是文本聚类分析的一个需要被切实解决的难点问题.针对这一问题,论文创新地提出了一个基于Pitman-Yor过程模型的文本聚类算法,命名为参数自适应PYP(Discount Adaptation Pitman-Yor process,DAPYP)模型.该模型在文本聚类的过程中,依据各样本类别的文本数量,自动调整PYP(Pitman-Yor Process)的折扣参数.实现了从不平衡数据集中识别出极小类和极大类.通过在人工数据集和真实文本数据集上进行的实验,表明该文提出的模型可以有效地解决真实文本数据集聚类分析中的数据不平衡问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄瑞章	贵州大学计算机科学与技术学院	16	47	4.0	6.0
2	钟文良	贵州大学计算机科学与技术学院	2	4	1.0	2.0