基于统计分词的中文文本分类系统

• 作者: D吴雅娟 丁子睿 柳培林
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: 分类系统 分词 中文文本分类 系统结构 特征提取 训练算法 详细介绍 分类算法 方法应用 分类方法 统计特性 词表
• 年，卷（期）: 2005,（4）
• 页码范围: 71-74
• 页数: 4页
• 分类号: TP391.12

摘要

本文阐述了一个中文文本分类系统的设计和实现，对文本分类系统的系统结构、特征提取、训练算法、分类算法等进行了详细介绍。将基于统计的二元分词方法应用于中文文本分类，并提出了一种基于汉语中单字词及二字词统计特性的中文文本分类方法，实现了在事先没有词表的情况下，通过统计构造单字及二字词词表，从而对文本进行分词，然后再进行文本的分类。