一种基于二元模型的分层文本过滤方法

• 作者: 周聚 朱巧明 李培峰
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 文本过滤 卡方统计 关键词抽取 二元词串
• 年，卷（期）: 2011,（7）
• 所属期刊栏目: 基金项目论文
• 页码范围: 16-18
• 分类号: TP391
• 字数: 4061字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386X.2011.07.005

摘要

提出一种基于二元模型的分层过滤策略的中文文本过滤方法.首先,在非法文本集中使用文档频率和卡方统计相结合的方法抽取非法关键词集合,并根据制定的策略,筛选出非法文本和一些包含非法关键词的合法文本；其次,在筛选出的文本中,选取包含非法关键词的二元词串作为特征集合,以卡方统计方法对特征进行评估,选取预定数目作为结果的特征子集,使用支持向量机分类器过滤非法文本.实验表明提出的过滤方法的准确率、召唤率和F1的值分别为:95.65%,84.87%和89.93%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱巧明	苏州大学江苏省计算机信息处理技术重点实验室	261	2058	25.0	31.0
2	李培峰	苏州大学计算机科学与技术学院	138	995	16.0	24.0
6	周聚	苏州大学计算机科学与技术学院	3	6	2.0	2.0