分布式主题爬虫的研究与设计

• 作者: 任昱凤
• 来源期刊: 计算机光盘软件与应用
• 学科: 工学
• 关键词: 主题爬虫 Hadoop 主题相关度
• 年，卷（期）: 2015,（1）
• 所属期刊栏目: 产业聚焦 -- 智慧城市
• 页码范围: 11-12
• 页数: 2页
• 分类号: TP391.3
• 字数: 2567字
• 语种: 中文

摘要

本文通过对分布式技术和主题网络爬虫的研究，设计了一个能处理海量数据的分布式主题爬虫。设计内容主要包括分布式主题网络爬虫的各个功能模块及其实现方法。如页面的主题相关度判定方法、URL去重过滤方法等。主要使用了Hadoop技术和向量空间模型。该分布式主题爬虫的研究与设计为后面分布式主题爬虫的实现奠定了基础。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	任昱凤	陕西师范大学计算机科学学院	1	4	1.0	1.0