分布权值调节概率标准差的文本分类方法

• 作者: 焦庆争 蔚承建
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 文本分类 特征概率标准差 特征离散度 特征分布 Beta概率密度函数 自然语言处理
• 年，卷（期）: 2009,（12）
• 所属期刊栏目: 数据库与数据挖掘
• 页码范围: 3303-3306
• 页数: 4页
• 分类号: TP18
• 字数: 4611字
• 语种: 中文

摘要

针对文本分类问题,基于特征分布评估权值调节特征概率标准差设计了一种无须特征选择的高效的线性文本分类器.该算法的基本思路是使用特征概率标准差量化特征在文档类中的离散度,并作为特征的基础权重,同时以后验概率的Beta分布函数为基础,运用概率确定性密度函数,评估特征在类别中的分布信息得到特征分布权值,将其调节基础权重得到特征权重,实现了线性文本分类器.在20Newsgroup、复旦中文分类语料、Reuters-21578三个语料集进行了比较实验,实验结果表明,新算法分类性能相对传统算法优势显著,且稳定、高效、实用,适于大规模文本分类任务.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔚承建	南京工业大学电子与信息工程学院	50	169	8.0	9.0
2	焦庆争	南京工业大学电子与信息工程学院	13	17	3.0	4.0