一种基于改进互信息和信息熵的文本特征选择方法

• 作者: 唐旋 成卫青
• 来源期刊: 南京邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: 特征选择 文本分类 评价函数 互信息 信息熵
• 年，卷（期）: 2013,（5）
• 所属期刊栏目: 计算机与自动控制
• 页码范围: 63-68
• 页数: 6页
• 分类号: TP391
• 字数: 6010字
• 语种: 中文

摘要

互信息是一种常用的特征选择评价函数,但研究表明它会导致分类精度相对较低.文中针对互信息倾向选择低频词的不足,提出了一种新的特征评价函数TFMIIE,将信息熵和改进互信息相结合,其中改进互信息能够避免偏向低频的生僻词,而特征熵有利于去除类别不确定的特征词.实验结果表明,采用TFMIIE进行特征选择,用得到的特征子集表示文本和构建分类器,文本分类的准确率与召回率比采用互信息的方法提高了约40％,验证了所提出的基于改进互信息和信息熵的文本特征选择方法是有效的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	成卫青	南京邮电大学计算机学院	31	301	11.0	16.0
2	唐旋	南京邮电大学计算机学院	1	29	1.0	1.0