基于互信息和余弦相似度的维吾尔文不良文档信息过滤方案

• 作者: 亚森·艾则孜 赵旭东
• 来源期刊: 电子设计工程
• 学科: 工学
• 关键词: 维吾尔文 不良文档过滤 互信息 余弦相似度 TF-IDF
• 年，卷（期）: 2016,（16）
• 所属期刊栏目: 通信与网络
• 页码范围: 109-112
• 页数: 4页
• 分类号: TN918
• 字数: 3045字
• 语种: 中文

摘要

针对网页中的维吾尔文不良文档信息的过滤问题，提出一种基于互信息和余弦相似度的不良文档信息过滤方案。首先，对输入文档进行预处理，过滤掉无用单词。然后，利用文档频率（DF）和互信息（MI）相结合，从文档中提取出高区分度的特征向量。最后，利用TF-IDF方法对特征进行加权，并计算加权特征向量与分类模板中的各类加权特征向量之间的余弦相似度，来分类文档并过滤掉不良文档信息。实验结果表明，该方案能够有效过滤不良维吾尔文文档，正确过滤率达到了83.5%。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵旭东	新疆警察学院信息安全工程系	12	21	3.0	4.0
2	亚森·艾则孜	新疆警察学院信息安全工程系	31	45	3.0	5.0