文本分类中词语权重计算方法的改进与应用

• 作者: 熊忠阳 陈伟 陈小莉 黎刚
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 文本表示 向量空间模型 特征选择 TFIDF
• 年，卷（期）: 2008,（5）
• 所属期刊栏目: 数据库与信息处理
• 页码范围: 187-189
• 页数: 3页
• 分类号: TP391
• 字数: 2919字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2008.05.059

摘要

文本的形式化表示一直是信息检索领域关注的基础性问题.向量空间模型(Vector Space Model)中的tf.idf文本表示是该领域里得到广泛应用,并且取得较好效果的一种文本表示方法.词语在文本集合中的分布比例量上的差异是决定词语表达文本内容的重要因素之一.但是其IDF的计算,并没有考虑到特征项在类间的分布情况,也没有考虑到在类内分布相对均匀的特征项的权重应该比分布不均匀的要高,应该赋予其较高的权重.用改进的TFIDF选择特征词条、用KNN分类算法和遗传算法训练分类器来验证其有效性,实验表明改进的策略是可行的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	熊忠阳	重庆大学计算机学院	135	2447	25.0	44.0
2	陈伟	重庆大学计算机学院	54	927	18.0	28.0
3	黎刚	重庆大学计算机学院	2	67	1.0	2.0
4	陈小莉	重庆大学计算机学院	3	146	2.0	3.0