基于音位的网络盗版文本查重方法

• 作者: 俞定国 周忠成 林生佑 金哲凡
• 来源期刊: 山东农业大学学报（自然科学版）
• 学科: 工学
• 关键词: 音位 盗版文本 查重
• 年，卷（期）: 2017,（3）
• 页码范围: 467-471
• 页数: 5页
• 分类号: TP391
• 字数: 5266字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-2324.2017.03.029

摘要

传统的文本查重算法是对文本作分词以构建关键词向量,而对于某些特殊应用的网络盗版检测,分词的开销则未必合理和必要.因此,本文提出一种基于汉语音位信息的文本查重方法.文本被表达为声、韵、调三个空间向量,以余弦距离作相似性度量.提出两种相似性判断公式,一种假定三向量独立分布;一种取其线性组合,系数可由音位元素的信息熵算出,通过大文本统计得出信息熵的估计值,以传统的关键词向量/SimHash方法做参照产生语料,对其作统计得到模型参数.实验结果表明该方法有一定的精确率和很好的召回率,计算开销低于传统的方法,适合需要过滤大量TN类型文本的场合.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周忠成		15	79	5.0	8.0
2	金哲凡		6	10	2.0	3.0
3	林生佑		4	95	3.0	4.0
4	俞定国		7	19	3.0	4.0