主题爬虫设计与实现

• 作者: 王晨升 郭世龙
• 来源期刊: 软件
• 学科: 工学
• 关键词: 主题爬虫 文本相似度 特征提取 文本排重
• 年，卷（期）: 2013,（12）
• 所属期刊栏目: 软件工程
• 页码范围: 107-109
• 页数: 3页
• 分类号: TP212.9
• 字数: 3367字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2013.12.025

摘要

海量网页的存在及其数量的急速增长使得通用搜索引擎难以满足面向主题或领域的用户需求。本文研究的主题爬虫致力于收集主题相关信息，达到极大降低网页处理量的目的，本文给出了主题爬虫中url处理、文本信息处理、文本特征训练等全部设计流程。实验结果充分论证了其可行性与实用性，为进行主题搜索引擎设计和个性化推荐系统设计提供相关主题信息采集的良好基础。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王晨升	北京邮电大学自动化学院	31	230	7.0	14.0
2	郭世龙	北京邮电大学自动化学院	7	105	3.0	7.0