一种主题知识自增长的聚焦网络爬虫

• 作者: 廖晓兰 李东晖 范辅桥 陈雪刚 黄九鸣
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 聚焦网络爬虫 无监督学习 知识扩展 主题相关度
• 年，卷（期）: 2014,（5）
• 所属期刊栏目: 数据库技术
• 页码范围: 29-33,88
• 页数: 6页
• 分类号: TP316
• 字数: 7552字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2014.05.007

摘要

聚焦网络爬虫是各类因特网文本挖掘和信息检索应用必需的处理步骤。现有聚焦网络爬虫面临着知识描述困难、误差易被放大等挑战。发现网页中主题知识存在的若干性质，提出一种主题知识自增长的聚焦网络爬虫KAG-Crawler，在网页爬取过程中采用一种无监督的学习技术不断扩展主题知识，从而使爬虫在一个简单的初始主题描述条件下，能够以较高正确率爬取大量网页。同时为便于主题知识的扩展，还提出一种新的主题表示模型，并基于该模型构建了新的网页主题和U RL主题相关度方法。最后在真实环境下的实验表明，KAG-Crawler的性能显著高于传统基于文本相似度的聚焦网络爬虫。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	廖晓兰	湖南农业大学植物保护学院	133	1890	24.0	39.0
2	李东晖	湖南农业大学信息科学与技术学院	20	95	4.0	9.0
3	陈雪刚	湘南学院计算机科学系	27	90	6.0	8.0
4	范辅桥		1	14	1.0	1.0
5	黄九鸣		1	14	1.0	1.0