文本分类中基于概率主题模型的噪声处理方法

• 作者: 林洋港 陈恩红
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 噪声数据 文本分类 概率主题模型 类别熵
• 年，卷（期）: 2010,（7）
• 所属期刊栏目: 数据挖掘
• 页码范围: 89-92,119
• 分类号: TP391
• 字数: 4949字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2010.07.025

摘要

训练集中文本质量的好坏直接决定着文本分类的结果.实际应用中训练集的构建不可避免地会产生噪声样本,从而影响文本分类方法的实际应用效果.为此,针对文本分类中的噪声问题,本文提出一种基于概率主题模型的噪声处理方法,首先对训练集中的每个样本计算其类别熵,根据类别熵对噪声样本进行过滤;然后利用主题模型进行数据平滑,进一步减弱噪声样本的影响.这种方法不但能够减弱噪声样本对分类结果的影响,同时还保持了训练集的原有规模.在真实数据上的实验表明,该方法对噪声样本的分布具有较好的鲁棒性,在噪声比例较大的情况下仍能保持较好的分类结果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈恩红	中国科学技术大学计算机科学与技术学院	87	1942	22.0	42.0
2	林洋港	中国科学技术大学计算机科学与技术学院	3	18	3.0	3.0