基于结构相似网页聚类的正文提取算法研究

• 作者: 冯兆旭 张津栋 杨海波 王海涌
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 正文提取 相似性 文档对象模型(DOM)树 层次聚类
• 年，卷（期）: 2018,（11）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 122-127,139
• 页数: 7页
• 分类号: TP391
• 字数: 6353字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1701-0161

摘要

针对当前互联网网页越来越多样化、复杂化的特点,提出一种基于结构相似网页聚类的网页正文提取算法,首先,根据组成网页前端模板各"块"对模板的贡献赋以不同的权重,其次计算两个网页中对应块的相似度,将各块的相似度与权重乘积的总和作为两个网页的相似度.该算法充分考虑结构差别较大的网页对网页正文提取的影响,通过计算网页间相似度将网页聚类,使得同一簇中的网页正文提取结果更加准确.实验结果表明,该方法具有更高的准确率,各项评价指标均有所提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王海涌	兰州交通大学电子与信息工程学院	30	313	11.0	16.0
2	冯兆旭	兰州交通大学电子与信息工程学院	1	3	1.0	1.0
3	杨海波	兰州交通大学电子与信息工程学院	1	3	1.0	1.0
4	张津栋	兰州交通大学电子与信息工程学院	2	7	2.0	2.0