基于Hadoop的分布式主题网络爬虫的设计与实现

• 作者: 宋玉平 施化吉 施磊磊 束长波
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: 主题爬虫 Hadoop集群 分布式
• 年，卷（期）: 2015,（7）
• 所属期刊栏目: 研究与探讨
• 页码范围: 109-112
• 页数: 4页
• 分类号: TP393.02
• 字数: 3104字
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2015.07.030

摘要

随着大数据时代的来临,传统的单机式或多线程式的主题爬虫已经很难满足海量数据的爬取任务.为此,首先采用向量空间模型来提高下载网页的主题相关度,然后引入MapReduce分布式计算模型以达到高效率的分布式海量爬取,同时利用基于HDFS的HBase分布式数据库达到高效率的分布式海量存储,最后通过实验结果数据验证设计的主题爬虫模型的高效性、扩展性、可靠性和稳定性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	施化吉	江苏大学计算机科学与通信工程学院	83	692	15.0	21.0
2	施磊磊	江苏大学计算机科学与通信工程学院	10	31	4.0	5.0
3	束长波	江苏大学计算机科学与通信工程学院	7	19	3.0	4.0
4	宋玉平	江苏大学计算机科学与通信工程学院	6	18	3.0	4.0