一种面向中文敏感网页识别的文本分类方法

• 作者: 卓力 张菁 李晓光 陈欣
• 来源期刊: 测控技术
• 学科: 工学
• 关键词: 中文敏感网页识别 新词识别 停用词表建立 CHI统计 朴素贝叶斯分类器
• 年，卷（期）: 2011,（5）
• 所属期刊栏目: 专题报告--图像/视频处理技术及其应用
• 页码范围: 27-31,40
• 分类号: TP391
• 字数: 5336字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-8829.2011.05.006

摘要

提出了一种面向中文敏感网页识别的文本分类方法,主要包括中文分词、停用词表的建立、特征选择、分类器等4个部分.为丰富中文分词词库,提出了一种以词频统计为主、以人工判决为辅并标注词性的新词识别算法;提出了一种停用词表的建立算法,据此建立了含300个停用词的停用词表;采用开方拟合检验统计量方法作为特征选择方法,并确定了400维的特征词库.根据开方拟合统计量特征选择方法与朴素贝叶斯分类器的特点,加入待分类网页文本中所含特征项数目与特征集维数的比值以及特征项数目与文本所含词汇数目的比值两个影响因子,对朴素贝叶斯分类器进行了改进.考虑到不同的人群对敏感概念的主观理解差异较大,将待识别网页的敏感度值作为分类器的输出.实验结果表明,与现有的文本分类方法相比,所提出的文本分类方法可以获得更好的识别效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	卓力	北京工业大学信号与信息处理研究室	94	839	14.0	24.0
2	李晓光	北京工业大学信号与信息处理研究室	24	247	8.0	15.0
3	张菁	北京工业大学信号与信息处理研究室	39	392	11.0	19.0
4	陈欣	北京工业大学信号与信息处理研究室	7	9	2.0	3.0