基于文本相似度的网页消重策略

• 作者: 刘书一
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 网页消重 网页特征码 文本相似度 编辑距离
• 年，卷（期）: 2011,（11）
• 所属期刊栏目: 软件技术与研究
• 页码范围: 228-229,278
• 分类号: TP391
• 字数: 3329字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386X.2011.11.057

摘要

针对在网页检索结果中经常出现内容相同或相似的问题,提出了一种通过计算网页相似度的方法进行网页消重.该算法通过提取网页特征串,特征串的提取在参考以往特征码提取的基础上,加入了文本结构特征的提取,通过比较特征串之间差异性的基础上得到网页的相似度.经与相似方法比较,结果表明,该方法减少了时间复杂度,具有较高的查全率和查准率,适于大规模网页消重.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘书一	江苏科技大学南徐学院	7	25	3.0	5.0