基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
网络爬虫是互联网运行服务的重要组成部分,并为整个互联网、企业内部网和大型门户网站提供搜索和索引.为解决现有爬虫方法在效率方面的问题,本文介绍了Nutch分布式爬虫工作流程及机制,通过分析Hadoop下的Nutch网络爬虫,在Nutch分布式爬虫的参数方面、Hadoop的I/O模型和Nutch分布式爬虫小文件问题三个方面做了相关优化.实验结果表明,优化后的网络爬虫能更有效的爬取网络资源,能在较大程度上提升网络爬虫效率.
推荐文章
Nutch分布式网络爬虫研究与优化
Nutch搜索引擎
网络爬虫
弹性抓取机制
基于GNP算法的分布式爬虫调度策略
分布式爬虫
任务调度
负载均衡
网络测量
全局网络定位
基于协程模型的分布式爬虫框架
协程
分布式
高性能
爬虫
基于Nutch的分布式电商数据采集技术研究
电商数据
反爬
Nutch
分布式
采集
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 基于Nutch的分布式爬虫的优化研究
来源期刊 无线通信技术 学科 工学
关键词 Nutch Hadoop 分布式文件系统 分布式爬虫
年,卷(期) 2014,(3) 所属期刊栏目
研究方向 页码范围 44-47,52
页数 5页 分类号 TP311
字数 2683字 语种 中文
DOI
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 薛安荣 江苏大学计算机学院 45 665 13.0 25.0
2 周小梅 江苏大学计算机学院 2 33 2.0 2.0
3 袁威 江苏大学计算机学院 1 23 1.0 1.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (2)
共引文献  (19)
参考文献  (3)
节点文献
引证文献  (23)
同被引文献  (28)
二级引证文献  (7)
2004(1)
  • 参考文献(1)
  • 二级参考文献(0)
2009(1)
  • 参考文献(0)
  • 二级参考文献(1)
2011(2)
  • 参考文献(1)
  • 二级参考文献(1)
2013(1)
  • 参考文献(1)
  • 二级参考文献(0)
2014(1)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(1)
  • 二级引证文献(0)
2014(1)
  • 引证文献(1)
  • 二级引证文献(0)
2015(6)
  • 引证文献(6)
  • 二级引证文献(0)
2016(4)
  • 引证文献(4)
  • 二级引证文献(0)
2017(4)
  • 引证文献(3)
  • 二级引证文献(1)
2018(8)
  • 引证文献(6)
  • 二级引证文献(2)
2019(7)
  • 引证文献(3)
  • 二级引证文献(4)
研究主题发展历程
节点文献
Nutch
Hadoop
分布式文件系统
分布式爬虫
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
无线通信技术
季刊
1003-8329
61-1361/TN
16开
西安市翠华路275号
1971
chi
出版文献量(篇)
1210
总下载数(次)
1
论文1v1指导