基于维基百科和网页相似度分析的主题爬行策略

• 作者: 栾霞 赵晓楠
• 来源期刊: 现代电子技术
• 关键词: 维基百科 文本相关性 链接分析 相似度计算
• 年，卷（期）: 2014,（20）
• 所属期刊栏目: 计算机应用技术
• 页码范围: 35-37
• 页数: 3页
• 分类号: TN911-34|TP391.4
• 语种: 中文

摘要

针对当前常用爬虫爬行策略的不足，提出结合维基百科和网页相似度分析的主题爬行策略。利用维基百科分类树的结构对主题进行描述；下载网页后对网页进行相应处理，结合文本相关性和Web链接分析来计算候选链接的优先级。实验表明，该爬虫搜索结果与主题相关度明显高于传统爬虫，爬虫爬全率有一定提高。该主题爬虫主题描述方法和爬行策略有一定的推广价值，尤其在转基因生物领域中，该爬虫中有一定的创新性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	栾霞	中国人民解放军第三二三医院网络中心	1	2	1.0	1.0