基于N元汉字串模型的文本表示和实时分类的研究与实现

• 作者: 常毅 王映 白硕 谭建龙
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 文本分类 中文信息处理 向量空间模型 N元汉字串 关键词匹配
• 年，卷（期）: 2005,（5）
• 所属期刊栏目: 学术探讨
• 页码范围: 88-91
• 页数: 4页
• 分类号: TP391.12
• 字数: 5392字
• 语种: 中文
• DOI: 10.3321/j.issn:1002-8331.2005.05.031

摘要

该文提出了一种基于N元汉字串特征的文本向量空间表示模型,用这个表示模型实现了一个文本实时分类系统.对比使用词语做为特征的文本向量空间模型,这种新的模型由于使用快速的多关键词匹配技术,不使用分词等复杂计算,可以实现实时文本分类.由于N元汉字串的文本表示模型中的特征抽取中不需要使用词典分词,从而可以提取出一些非词的短语结构,在特殊的应用背景,如网络有害信息判别中,能自动提取某些更好的特征项.实验结果表明,使用简单的多关键词匹配和使用复杂的分词,对分类系统的效果影响是很小的.该文的研究表明N元汉字串特征和词特征的表示能力在分类问题上基本是相同的,但是N元汉字串特征的分类系统可以比分词系统的性能高出好几倍.该文还描述了使用这种模型的自动文本分类系统,包括分类系统的结构,特征提取,文本相似度计算公式,并给出了评估方法和实验结果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	白硕	中国科学院计算技术研究所软件研究室	50	2124	21.0	46.0
2	谭建龙	中国科学院计算技术研究所软件研究室	43	444	11.0	19.0
3	王映	中国科学院计算技术研究所软件研究室	3	23	2.0	3.0
7	常毅	中国科学院计算技术研究所软件研究室	1	19	1.0	1.0