一种面向文本分类的特征迁移方法

• 作者: 王文剑 赵世琛
• 来源期刊: 数据采集与处理
• 学科: 工学
• 关键词: 文本分类 迁移学习 迁移量 向量空间模型
• 年，卷（期）: 2017,（3）
• 页码范围: 516-522
• 页数: 7页
• 分类号: TP18
• 字数: 4863字
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2017.03.010

摘要

传统的文本分类方法假设训练集与测试集中的特征词服从相同的概率分布,但在实际应用中,以上假设存在偏差,会影响到最终的分类结果.针对这一情况,本文采用迁移学习,通过计算特征词的迁移量对训练集中向量空间模型进行修正,最终使训练集与测试集中特征词的分布概率趋于一致.将提出的方法应用于中文垃圾邮件过滤与中、英文网页分类中,在CHI统计特征选择基础上进行特征迁移,实验结果表明新方法可以有效消除特征词分布的差异性,使文本分类的各项指标明显提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王文剑	山西大学计算机与信息技术学院	97	798	14.0	23.0
2	赵世琛	山西大学计算机与信息技术学院	2	4	1.0	2.0