中文文本分类相关算法的研究与实现

• 作者: 张桂林 徐沛娟 惠玥 李雄飞
• 来源期刊: 吉林大学学报（理学版）
• 学科: 工学
• 关键词: 文本分类 上下文双向扫描 向量空间模型 权重 特征选择
• 年，卷（期）: 2009,（4）
• 所属期刊栏目: 计算机科学
• 页码范围: 790-794
• 页数: 5页
• 分类号: TP391.1
• 字数: 4204字
• 语种: 中文
• DOI: 10.3321/j.issn:1671-5489.2009.04.028

摘要

通过对分词歧义处理情况的分析, 提出一种基于上下文的双向扫描分词算法, 对分词词典进行改进, 将词组短语的固定搭配引入词典中. 讨论了特征项的选择及权重的设定, 并引进χ2统计量参与项的权值计算, 解决了目前通用TF-IDF加权法的不足, 同时提出了项打分分类算法, 提高了特征项对于文本分类的有效性. 实验结果表明, 改进后的权重计算方法性能更优越.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李雄飞	吉林大学计算机科学与技术学院	60	783	13.0	27.0
2	徐沛娟	吉林大学计算机科学与技术学院	18	100	7.0	9.0
3	惠玥	吉林大学计算机科学与技术学院	12	96	6.0	9.0
4	张桂林	吉林大学计算机科学与技术学院	4	39	2.0	4.0