结合优化的文档频和PA的特征选择方法

• 作者: 朱颢东 钟勇
• 来源期刊: 计算机应用研究
• 关键词: 特征选择 文本分类 词频 文档频 模式聚合
• 年，卷（期）: 2010,（1）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 36-38
• 页数: 3页
• 分类号: TP301
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2010.01.009

摘要

特征空间的高维特点限制了分类算法的选择,影响了分类器的设计和准确度,降低了分类器的泛化能力,从而出现分类器过拟合的现象,因此需要进行特征选择以避免维数灾难.首先简单分析了几种经典特征选择方法,总结了它们的不足;然后给出了一个优化的文档频方法,并用它过滤掉一些词条以降低文本矩阵的稀疏性;最后应用模式聚合(PA)理论建立文本集的向量空间模型,从分类贡献的角度强化词条的作用,消减原词条矩阵中包含的冗余模式,从而有效地降低了向量空间的维数,提高了文本分类的精度和速度.实验结果表明此种综合性特征选择方法效果良好.