基于 MapReduce 的视频爬虫系统研究

• 作者: 孔涛 曹丙章 邱荷花
• 来源期刊: 华中科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 视频 爬虫 分布式 Hadoop框架 MapReduce计算模型 Hadoop分布式文件系统
• 年，卷（期）: 2015,（5）
• 所属期刊栏目: 第二十届全国网络与数据通信学术会议专辑
• 页码范围: 129-132
• 页数: 4页
• 分类号: TP31
• 语种: 中文
• DOI: 10.13245/j.hust.150525

摘要

针对当前网络中视频媒体数量大、更新快、内容多、下载难，以及基于单机的视频网络爬虫系统中的处理速度慢、并发度低和下载速度慢等问题，提出了基于Hadoop框架的视频爬虫系统，为视频爬取提供了高并发度的处理和爬取速度。通过MapReduce计算模型实现网页抓取、分析、去重及下载等计算任务，Hadoop分布式文件系统（HDFS）存储各阶段计算任务的计算结果，运用多处备份机制，使得在某个结点退出时转移任务集，不影响整个系统的稳定性和有效性。实验结果表明完全分布式基于 Hadoop的视频爬虫系统无论在单位时间内的视频下载速率还是爬取网页个数都明显高于未基于Hadoop的和伪分布式的视频爬虫系统。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孔涛		1	7	1.0	1.0
2	曹丙章	华中科技大学计算机科学与技术学院	1	7	1.0	1.0
3	邱荷花	华中科技大学计算机科学与技术学院	1	7	1.0	1.0