一种基于不完整数据集的网页分类技术

• 作者: 蔡崇超
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 不完整数据集 文本相似度 网页分类 网页去噪
• 年，卷（期）: 2011,（1）
• 页码范围: 143-145
• 分类号: TP393.01
• 字数: 4010字
• 语种: 中文

摘要

常用的网页分类技术大多基于普通文本分类方法,没有充分考虑到网页分类的特殊性--网页本身的半结构化特征以及网页中存在大量干扰分类的噪音信息,同时多数网页分类的测试集和训练集采源于同一个样本集而忽视了测试集中可能包含无类别样本的可能.基于向量空间模型,将样本集看成由有类别样本和无类别样本两部分组成,同时选择了样本集来自于相同的网站,在去除网页噪音基础上结合文本相似度算法和最优截尾法,提出了一种基于不完整数据集的网页分类技术LUD(Learning by Unlabeled Data)来改善分类效果,提高分类精度.实验证明:LUD算法与传统的分类方法相比较而言,不但可以提高已有类别样本的分类精度,更主要的是提供了一种发现新类别样本的方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡崇超		5	16	2.0	4.0