基于信息增益的特征词权重调整算法研究

• 作者: 张玉芳 熊忠阳 陈小莉
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 信息增益 信息熵 词语分布比例 文本分类
• 年，卷（期）: 2007,（35）
• 所属期刊栏目: 数据库与信息处理
• 页码范围: 159-161
• 页数: 3页
• 分类号: TP391
• 字数: 4116字
• 语种: 中文
• DOI: 10.3321/j.issn:1002-8331.2007.35.048

摘要

传统权重公式TFIDF忽略了词语在集合中的分布比例,针对TFIDF的这个缺点,把信息增益公式引入文本集合中并提出IF*IDF*IG,取得了较好的效果.在分析中发现单纯把信息增益引入文本集合并不能完全解决词语分布对词语权重的影响.从文档类别层次上考虑,把信息论中信息增益应用到文本集合的类别层次上,提出了一种改进的权重公式tp*idf*IGc,用改进的权重公式来衡量词语在文本集合的各个类别中分布比例上的差异,进一步弥补传统公式的不足.实验对比了改进的公式tf*idf*IGc和IF*IDF*IG的实验效果,实验证明tf*idf*IGc权重公式在表现词语权重时更有效.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	熊忠阳	重庆大学计算机学院	135	2447	25.0	44.0
2	张玉芳	重庆大学计算机学院	125	2737	26.0	48.0
3	陈小莉	重庆大学计算机学院	3	146	2.0	3.0