基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
Nutch作为一个优秀的开源搜索引擎,其内核代码大量采用了MapReduce的编程模式,被越来越多的企业和团体用来定制符合自身需求的分布式搜索引擎产品.作为优秀的搜索引擎,其重要的前提是如何尽可能多地抓取到网页数据来建立索引.介绍了Nutch基于Hadoop下的分布式网络爬虫工作机制,指出其不足之处,并提出了改进方案,从而使网络爬虫能够更加高效地利用网络资源来抓取网络数据.经过实验测试,证明了此方案比原方案更加高效.
推荐文章
针对微博的免登录分布式网络爬虫的研究
免登录网络爬虫
分布式网络爬虫
Hadoop
MapReduce
分布式爬虫的研究与实现
分布式集群
Nutch
Solr
企业官网
基于协程模型的分布式爬虫框架
协程
分布式
高性能
爬虫
基于GNP算法的分布式爬虫调度策略
分布式爬虫
任务调度
负载均衡
网络测量
全局网络定位
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 Nutch分布式网络爬虫研究与优化
来源期刊 计算机科学与探索 学科 工学
关键词 Nutch搜索引擎 网络爬虫 弹性抓取机制
年,卷(期) 2011,(1) 所属期刊栏目
研究方向 页码范围 68-74
页数 分类号 TP393
字数 4157字 语种 中文
DOI 10.3778/j.issn.1673-9418.2011.01.007
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 杨岳湘 国防科学技术大学信息中心 22 200 8.0 13.0
2 詹恒飞 国防科学技术大学计算机学院 1 72 1.0 1.0
3 方宏 国防科学技术大学信息中心 2 81 2.0 2.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (0)
共引文献  (12)
参考文献  (1)
节点文献
引证文献  (72)
同被引文献  (66)
二级引证文献  (80)
2009(1)
  • 参考文献(1)
  • 二级参考文献(0)
2011(2)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(2)
  • 二级引证文献(0)
2011(2)
  • 引证文献(2)
  • 二级引证文献(0)
2012(10)
  • 引证文献(9)
  • 二级引证文献(1)
2013(3)
  • 引证文献(3)
  • 二级引证文献(0)
2014(15)
  • 引证文献(10)
  • 二级引证文献(5)
2015(19)
  • 引证文献(8)
  • 二级引证文献(11)
2016(29)
  • 引证文献(15)
  • 二级引证文献(14)
2017(23)
  • 引证文献(10)
  • 二级引证文献(13)
2018(31)
  • 引证文献(11)
  • 二级引证文献(20)
2019(15)
  • 引证文献(3)
  • 二级引证文献(12)
2020(5)
  • 引证文献(1)
  • 二级引证文献(4)
研究主题发展历程
节点文献
Nutch搜索引擎
网络爬虫
弹性抓取机制
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机科学与探索
月刊
1673-9418
11-5602/TP
大16开
北京市海淀区北四环中路211号北京619信箱26分箱
82-560
2007
chi
出版文献量(篇)
2215
总下载数(次)
4
相关基金
湖南省自然科学基金
英文译名:Natural Science Foundation of Hunan Province
官方网址:http://jj.hnst.gov.cn/
项目类型:一般面上项目
学科类型:
  • 期刊分类
  • 期刊(年)
  • 期刊(期)
  • 期刊推荐
法制与社会 法律适用 法律科学-西北政法大学学报 当代法学 政法论坛 人民检察 行政与法 中国刑事法杂志 法制博览 人民司法 中国司法 政法论丛 法医学杂志 中国法医学杂志 科技与法律 金卡工程 中国司法鉴定 证据科学 法治研究 政法学刊 公安研究 法制与经济 法制与经济(中旬刊) 法制与经济(下半月) 山东法官培训学院学报 警察技术 河南司法警官职业学院学报 中国版权 检察风云 中国监狱学刊 犯罪与改造研究 政府法制 中国公证 证券法苑 金陵法律评论 行政法论丛 广东公安科技 刑法论丛 中国律师 中国监察 计算机工程与应用 计算机工程 计算机应用研究 软件学报 计算机应用 计算机学报 系统仿真学报 计算机研究与发展 计算机工程与设计 计算机科学 控制与决策 电脑知识与技术 计算机集成制造系统 计算机仿真 自动化学报 计算机技术与发展 计算机应用与软件 计算机辅助设计与图形学学报 小型微型计算机系统 控制理论与应用 控制理论与应用 遥感学报 传感器与微系统 传感技术学报 制造业自动化 微电子学与计算机 计算机工程与科学 机器人 计算机系统应用 计算机与现代化 测控技术 计算机与数字工程 工业控制计算机 测绘与空间地理信息 电机与控制学报 中文信息学报 福建电脑 控制工程 遥感技术与应用 信息与控制
论文1v1指导