改进的Shark-search算法在网络采集中的应用

• 作者: 姜华 张玲 祁玉娟
• 来源期刊: 计算机技术与发展
• 学科: 社会科学
• 关键词: Shark-search算法 网页分块 Web信息搜集 链接价值 主题漂移
• 年，卷（期）: 2017,（8）
• 所属期刊栏目: 应用开发研究
• 页码范围: 192-194,199
• 页数: 4页
• 分类号: G354
• 字数: 3434字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2017.08.040

摘要

Shark-search是一种依据链接价值的高低进行优先采集的算法,用于主题信息采集系统时由于只考虑了网页文本和链接锚文本与主题的相关性而忽略了网页的组织结构特性,在抓取有较多噪音链接的网页时效果欠佳.基于网页组织结构特性的分析研究,提出了一种基于网页主题分块的Shark-search算法.该算法在经典Shark-search算法的基础上依据网页组织结构根据网页布局标签对页面内容进行分块,从网页,块和链接三个层面与主题的相关性得到链接的综合价值,因而具有自学习功能,能统计学习与主题相关性较大的块特征,并在发生主题漂移的时候具有自调整功能,给予主题相关性较大的父页面上的链接更多被抓取的机会.采集实验结果表明,所提出的算法在经典Shark-search的基础上能较好地改进主题信息采集的查准率,能够更灵活地针对实际的Web资源状况进行自调整.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张玲	湖南省第一师范学院信息科学与工程学院	3	3	1.0	1.0
2	祁玉娟	湖南省第一师范学院信息科学与工程学院	1	0	0.0	0.0
3	姜华	湖南省第一师范学院信息科学与工程学院	3	8	1.0	2.0