引入主题链接块因子的候选链接搜索策略研究

• 作者: 刘乃文 周雪
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 网页分块 Shark-search算法 链接结构 主题链接块
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 算法与分析
• 页码范围: 874-878
• 页数: 5页
• 分类号: TP391
• 字数: 4337字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2018.05.006

摘要

网页主题爬取过程中,需要计算网页中出现的url权重,不断填充待爬行队列,以满足爬行条件,如何发现与主题最相关的链接,同时又不会导致"主题漂移"问题是关键.针对链接的锚文本较短小,不能很好地表明链接指向页面与主题的相关性的问题,论文在Shark-search算法的基础上引入相关链接块权重,利用块中子链接的锚文本进行块的权重计算,通过对比实验验证了改进算法可以更好地区分处于同一页面中的链接的相关度评分,提高爬虫的查准率,同时缓和"主题漂移"的问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘乃文		3	4	2.0	2.0
2	周雪	山东师范大学信息科学与工程学院	4	5	2.0	2.0