高度相似网络文本排重系统研究

• 作者: 王芳
• 来源期刊: 现代科学仪器
• 关键词: 网络文本 排重技术 simhash算法
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 技术创新与应用
• 页码范围: 125-128
• 页数: 4页
• 语种: 中文

摘要

随着信息科技的不断进步和网络的迅速普及,互联网中每天都会产生海量的文本信息,其中很大一部分文本在内容上有所重复,这会造成互联网用户浏览时间的浪费和内容提供方存储资源的过度消耗.为此,本文提出了一种高度相似网络文本排重系统,利用simhash算法确定文本内容的相似度,对于被判定为高度相似的文本只赋予一个唯一的标识入库保存,从而减轻了数据库的存储压力,提高了用户搜索与浏览的效率.