不均衡大数据集下的文本特征基因提取方法

• 作者: 孙晶涛 张秋余
• 来源期刊: 电子科技大学学报
• 学科: 工学
• 关键词: CHI统计选择方法 不均衡大数据集 独立成分分析 信息熵 文本特征基因提取
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 计算机工程与应用
• 页码范围: 125-131
• 页数: 7页
• 分类号: TN393.098
• 字数: 6521字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-0548.2018.01.019

摘要

在不均衡大数据集情况下,传统特征处理方法偏重大类而忽略小类,影响分类性能.该文提出了一种文本特征基因提取方法.首先,基于样本类别分布不均衡对特征选择的影响,给出了一种结合信息熵的CHI统计矩阵特征选择方法,以强化小类的特征;然后,在探究多维统计数据高阶相关性的基础上,采取独立成分分析手段,设计了文本特征基因提取方法,用以增强特征项的泛化能力;最后,将这两种方法相融合,实现了在不均衡大数据集下的文本特征基因提取新方法.实验结果表明,所提方法具有较好的早熟性及特征降维能力,在小类的分类效果上优于常见特征选择算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张秋余	兰州理工大学计算机与通信学院	177	1882	24.0	34.0
2	孙晶涛	西安邮电大学计算机学院	1	4	1.0	1.0