用户定制主题聚焦爬虫的设计与实现

• 作者: 闵钰麟 黄永峰
• 来源期刊: 计算机工程与设计
• 学科: 工学
• 关键词: 聚焦爬虫 k-means best-first策略 自适应主题模型 用户定制主题爬虫
• 年，卷（期）: 2015,（1）
• 所属期刊栏目: 网络与通信技术
• 页码范围: 17-21
• 页数: 5页
• 分类号: TP311
• 字数: 4060字
• 语种: 中文
• DOI: 10.16208/j.issn1000-7024.2015.01.004

摘要

传统的聚焦爬虫在主题未知或者缺少相应训练集的情况下无法完成主题爬行.为让聚焦爬虫具有更好的主题适应性,提出基于聚类算法的自适应主题模型,指导聚焦爬虫在只有少量相同主题(主题未知)初始url的情况下完成主题爬行.通过对初始页面聚类得到主题中心向量,寻找相关网页更新主题中心位置;基于best-first策略实现url排序;基于该模型实现用户定制主题聚焦爬虫.通过对比实验验证了使用该模型的爬虫具有较高的收获比(havest rate).

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄永峰	清华大学电子工程系信息认知与智能系统研究所	97	583	13.0	16.0
5	闵钰麟	清华大学电子工程系信息认知与智能系统研究所	1	13	1.0	1.0