基于改进音形码的中文敏感词检测算法

• 作者: 周昊 沈庆宏
• 来源期刊: 南京大学学报（自然科学版）
• 学科: 工学
• 关键词: 敏感词 模糊匹配 汉字编码 汉字相似度 完全匹配
• 年，卷（期）: 2020,（2）
• 页码范围: 270-277
• 页数: 8页
• 分类号: TP391
• 字数: 5988字
• 语种: 中文
• DOI: 10.13232/j.cnki.jnju.2020.02.013

摘要

在网络信息技术已非常成熟的今天,各类敏感词包括色情、暴力、政治敏感等有害词汇充斥网站和社交软件,对这些词语的检测与识别对营造健康的网络环境非常必要.这些敏感词绝大部分试图通过读音或者字形相近来进行伪装以逃避检测系统.现有的匹配算法可以检测出读音完全一样的词语,但不能准确识别读音相近和字形相近的异体字.为解决这一问题,提出针对模糊匹配的汉字相似度对比算法.首先通过对汉字进行特殊编码,提出一种综合考虑读音及字形特点的音形码汉字相似度改进算法,然后针对传统字典树,添加了精度参数来设置匹配精度,以此完成敏感词检测.实验结果计算表明,在常用相似汉字数据集上,匹配准确度提高8％～39％,错误率减少6％～38％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	沈庆宏	南京大学电子科学与工程学院	48	641	15.0	24.0
2	周昊	南京大学电子科学与工程学院	2	0	0.0	0.0