中文停用词表的自动选取

• 作者: 樊孝忠 汪涛 王建华 顾益军 黄维金
• 来源期刊: 北京理工大学学报
• 学科: 工学
• 关键词: 停用词 中文停用词表 联合熵
• 年，卷（期）: 2005,（4）
• 所属期刊栏目: 信息科学与控制
• 页码范围: 337-340
• 页数: 4页
• 分类号: TP391.1
• 字数: 2614字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-0645.2005.04.014

摘要

通过对现有基于统计的停用词选取方法的考察,提出了一种新的停用词选取方法.用该方法分别计算词条在语料库中各个句子内发生的概率和包含该词条的句子在语料库中的概率,在此基础上计算它们的联合熵,依据联合熵选取停用词.将该方法与传统方法选取的停用词表进行了对比,并比较了将各种方法用于文本分类的预处理时对分类效果的影响.实验结果表明,该方法更好地避免了语料的行文格式对停用词选取的影响,比传统方法更适用于文本分类的预处理.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	樊孝忠	北京理工大学信息科学技术学院计算机科学工程系	127	2336	26.0	43.0
2	顾益军	北京理工大学信息科学技术学院计算机科学工程系	14	341	7.0	14.0
3	汪涛	北京理工大学信息科学技术学院计算机科学工程系	46	1023	17.0	31.0
4	王建华	北京理工大学信息科学技术学院计算机科学工程系	3	248	3.0	3.0
5	黄维金	中国公安大学信息安全工程系	2	163	2.0	2.0