基于模式识别算法的网页重复信息抽取仿真

• 作者: 李玉琦 李龙
• 来源期刊: 计算机仿真
• 学科: 工学
• 关键词: 模式识别算法 网页重复信息 特征提取 支持向量机 信息抽取
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 仿真服务化
• 页码范围: 439-443
• 页数: 5页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1006-9348.2022.03.086

摘要

当前的网页重复信息抽取方法缺少信息分类步骤,导致传统方法存在抽取全面率低、重复信息比例高以及整体性能差的问题.于是提出基于模式识别算法的网页重复信息抽取方法.利用类间平衡因子和词频获取网页信息的互信息特征.在关联规则的基础上根据网页置信度向量化互信息特征,完成网页信息特征的提取.利用模式识别中的支持向量机对网页信息分类,优化惩罚函数,建立软间隔支持向量机分类器.计算不同类别网页信息的结构相似度和语义相似度,结合上述计算结果获得网页信息相似性,完成网页重复信息的抽取.仿真结果表明,所提方法的抽取全面率高、重复信息比例低,且整体应用性能好,实验结果表明所提方法具有理想的应用效果.