基于多指标融合的文本特征评价及选择算法

• 作者: 刘世兴 王璐 邱云飞
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 相关性 冗余度 稀疏程度 坐标系
• 年，卷（期）: 2016,（24）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 95-101
• 页数: 7页
• 分类号: TP391.1
• 字数: 6308字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1505-0250

摘要

在文本分类问题中,有多种评价特征优劣的指标,其中主要有特征与类别的相关性、特征自身的冗余度和特征在语料中的稀疏程度.由于文本特征的优劣直接影响分类效果,全方位考虑特征的各个因素很有必要.特征选择常分为三步骤分别对相关性、冗余度和稀疏程度进行衡量,而在每一步的加权和筛选过程中都要耗费大量时间,在面对实时性和准确性要求较高的情况时,这种分步评价特征的方法很难适用.针对上述问题,首先建立坐标模型,将相关性、冗余度和稀疏程度映射到坐标系中,根据空间内的点和原点构成的向量与坐标面或坐标轴的夹角对文本特征进行加权和筛选,从而将多个评价指标整合为一个评价指标,大幅节省了多次加权和筛选所耗费的时间,提高了特征选择效率.在复旦大学中文文本语料库和网易文本语料库中的实验结果表明,相比于分步法,基于多指标融合的文本特征评价及选择算法能够更快、更准地筛选词汇和n-grams特征,并在支持向量机(Support Vector Machine,SVM)中验证了特征在分类时的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王璐	辽宁工程技术大学软件学院	10	22	3.0	4.0
2	邱云飞	辽宁工程技术大学软件学院	70	620	13.0	22.0
3	刘世兴	辽宁工程技术大学软件学院	5	16	2.0	4.0