钛学术
文献服务平台
学术出版新技术应用与公共服务实验室出品
首页
论文降重
免费查重
学术期刊
任务中心
登录
文献导航
学科分类
>
综合
工业技术
科教文艺
医药卫生
基础科学
经济财经
社会科学
农业科学
哲学政法
社会科学II
哲学与人文科学
社会科学I
经济与管理科学
工程科技I
工程科技II
医药卫生科技
信息科技
农业科技
数据库索引
>
中国科学引文数据库
工程索引(美)
日本科学技术振兴机构数据库(日)
文摘杂志(俄)
科学文摘(英)
化学文摘(美)
中国科技论文统计与引文分析数据库
中文社会科学引文索引
科学引文索引(美)
中文核心期刊
中国科学引文数据库
工程索引(美)
日本科学技术振兴机构数据库(日)
文摘杂志(俄)
科学文摘(英)
化学文摘(美)
中国科技论文统计与引文分析数据库
中文社会科学引文索引
科学引文索引(美)
中文核心期刊
cscd
ei
jst
aj
sa
ca
cstpcd
cssci
sci
cpku
cscd
ei
jst
aj
sa
ca
cstpcd
cssci
sci
cpku
默认
篇关摘
篇名
关键词
摘要
全文
作者
作者单位
基金
分类号
搜索文章
搜索思路
钛学术文献服务平台
\
学术期刊
\
工业技术期刊
\
自动化技术与计算机技术期刊
\
计算机科学与探索期刊
\
Nutch分布式网络爬虫研究与优化
Nutch分布式网络爬虫研究与优化
作者:
方宏
杨岳湘
詹恒飞
基本信息来源于合作网站,原文需代理用户跳转至来源网站获取
Nutch搜索引擎
网络爬虫
弹性抓取机制
摘要:
Nutch作为一个优秀的开源搜索引擎,其内核代码大量采用了MapReduce的编程模式,被越来越多的企业和团体用来定制符合自身需求的分布式搜索引擎产品.作为优秀的搜索引擎,其重要的前提是如何尽可能多地抓取到网页数据来建立索引.介绍了Nutch基于Hadoop下的分布式网络爬虫工作机制,指出其不足之处,并提出了改进方案,从而使网络爬虫能够更加高效地利用网络资源来抓取网络数据.经过实验测试,证明了此方案比原方案更加高效.
暂无资源
收藏
引用
分享
推荐文章
针对微博的免登录分布式网络爬虫的研究
免登录网络爬虫
分布式网络爬虫
Hadoop
MapReduce
分布式爬虫的研究与实现
分布式集群
Nutch
Solr
企业官网
基于协程模型的分布式爬虫框架
协程
分布式
高性能
爬虫
基于GNP算法的分布式爬虫调度策略
分布式爬虫
任务调度
负载均衡
网络测量
全局网络定位
内容分析
文献信息
引文网络
相关学者/机构
相关基金
期刊文献
内容分析
关键词云
关键词热度
相关文献总数
(/次)
(/年)
文献信息
篇名
Nutch分布式网络爬虫研究与优化
来源期刊
计算机科学与探索
学科
工学
关键词
Nutch搜索引擎
网络爬虫
弹性抓取机制
年,卷(期)
2011,(1)
所属期刊栏目
研究方向
页码范围
68-74
页数
分类号
TP393
字数
4157字
语种
中文
DOI
10.3778/j.issn.1673-9418.2011.01.007
五维指标
作者信息
序号
姓名
单位
发文数
被引次数
H指数
G指数
1
杨岳湘
国防科学技术大学信息中心
22
200
8.0
13.0
2
詹恒飞
国防科学技术大学计算机学院
1
72
1.0
1.0
3
方宏
国防科学技术大学信息中心
2
81
2.0
2.0
传播情况
被引次数趋势
(/次)
(/年)
引文网络
引文网络
二级参考文献
(0)
共引文献
(12)
参考文献
(1)
节点文献
引证文献
(72)
同被引文献
(66)
二级引证文献
(80)
2009(1)
参考文献(1)
二级参考文献(0)
2011(2)
参考文献(0)
二级参考文献(0)
引证文献(2)
二级引证文献(0)
2011(2)
引证文献(2)
二级引证文献(0)
2012(10)
引证文献(9)
二级引证文献(1)
2013(3)
引证文献(3)
二级引证文献(0)
2014(15)
引证文献(10)
二级引证文献(5)
2015(19)
引证文献(8)
二级引证文献(11)
2016(29)
引证文献(15)
二级引证文献(14)
2017(23)
引证文献(10)
二级引证文献(13)
2018(31)
引证文献(11)
二级引证文献(20)
2019(15)
引证文献(3)
二级引证文献(12)
2020(5)
引证文献(1)
二级引证文献(4)
研究主题发展历程
节点文献
Nutch搜索引擎
网络爬虫
弹性抓取机制
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机科学与探索
主办单位:
华北计算技术研究所
出版周期:
月刊
ISSN:
1673-9418
CN:
11-5602/TP
开本:
大16开
出版地:
北京市海淀区北四环中路211号北京619信箱26分箱
邮发代号:
82-560
创刊时间:
2007
语种:
chi
出版文献量(篇)
2215
总下载数(次)
4
相关基金
湖南省自然科学基金
英文译名:
Natural Science Foundation of Hunan Province
官方网址:
http://jj.hnst.gov.cn/
项目类型:
一般面上项目
学科类型:
期刊文献
相关文献
1.
针对微博的免登录分布式网络爬虫的研究
2.
分布式爬虫的研究与实现
3.
基于协程模型的分布式爬虫框架
4.
基于GNP算法的分布式爬虫调度策略
5.
基于Nutch的分布式电商数据采集技术研究
6.
基于Hadoop的分布式并行增量爬虫技术研究
7.
分布式网络信息数据防篡改方法研究
8.
基于H adoop的分布式主题网络爬虫研究
9.
基于Agent的分布式查询优化研究
10.
一种分布式查询优化的研究与应用
11.
基于Nutch爬虫的电商交易价格统计研究
12.
分布式OSGi研究与发展
13.
分布式电源的双目标区域优化
14.
基于CORBA的分布式网络管理的研究
15.
分布式非线性编辑网络
推荐文献
钛学术
文献服务平台
学术出版新技术应用与公共服务实验室出品
首页
论文降重
免费查重
学术期刊
任务中心
登录
根据相关规定,获取原文需跳转至原文服务方进行注册认证身份信息
完成下面三个步骤操作后即可获取文献,阅读后请
点击下方页面【继续获取】按钮
钛学术
文献服务平台
学术出版新技术应用与公共服务实验室出品
原文合作方
继续获取
获取文献流程
1.访问原文合作方请等待几秒系统会自动跳转至登录页,首次访问请先注册账号,填写基本信息后,点击【注册】
2.注册后进行实名认证,实名认证成功后点击【返回】
3.检查邮箱地址是否正确,若错误或未填写请填写正确邮箱地址,点击【确认支付】完成获取,文献将在1小时内发送至您的邮箱
*若已注册过原文合作方账号的用户,可跳过上述操作,直接登录后获取原文即可
点击
【获取原文】
按钮,跳转至合作网站。
首次获取需要在合作网站
进行注册。
注册并实名认证,认证后点击
【返回】按钮。
确认邮箱信息,点击
【确认支付】
, 订单将在一小时内发送至您的邮箱。
*
若已经注册过合作网站账号,请忽略第二、三步,直接登录即可。
期刊分类
期刊(年)
期刊(期)
期刊推荐
一般工业技术
交通运输
军事科技
冶金工业
动力工程
化学工业
原子能技术
大学学报
建筑科学
无线电电子学与电信技术
机械与仪表工业
水利工程
环境科学与安全科学
电工技术
石油与天然气工业
矿业工程
自动化技术与计算机技术
航空航天
轻工业与手工业
金属学与金属工艺
计算机科学与探索2022
计算机科学与探索2021
计算机科学与探索2020
计算机科学与探索2019
计算机科学与探索2018
计算机科学与探索2017
计算机科学与探索2016
计算机科学与探索2015
计算机科学与探索2014
计算机科学与探索2013
计算机科学与探索2012
计算机科学与探索2011
计算机科学与探索2010
计算机科学与探索2009
计算机科学与探索2008
计算机科学与探索2007
计算机科学与探索2011年第9期
计算机科学与探索2011年第8期
计算机科学与探索2011年第7期
计算机科学与探索2011年第6期
计算机科学与探索2011年第5期
计算机科学与探索2011年第4期
计算机科学与探索2011年第3期
计算机科学与探索2011年第2期
计算机科学与探索2011年第12期
计算机科学与探索2011年第11期
计算机科学与探索2011年第10期
计算机科学与探索2011年第1期
法制与社会
法律适用
法律科学-西北政法大学学报
当代法学
政法论坛
人民检察
行政与法
中国刑事法杂志
法制博览
人民司法
中国司法
政法论丛
法医学杂志
中国法医学杂志
科技与法律
金卡工程
中国司法鉴定
证据科学
法治研究
政法学刊
公安研究
法制与经济
法制与经济(中旬刊)
法制与经济(下半月)
山东法官培训学院学报
警察技术
河南司法警官职业学院学报
中国版权
检察风云
中国监狱学刊
犯罪与改造研究
政府法制
中国公证
证券法苑
金陵法律评论
行政法论丛
广东公安科技
刑法论丛
中国律师
中国监察
计算机工程与应用
计算机工程
计算机应用研究
软件学报
计算机应用
计算机学报
系统仿真学报
计算机研究与发展
计算机工程与设计
计算机科学
控制与决策
电脑知识与技术
计算机集成制造系统
计算机仿真
自动化学报
计算机技术与发展
计算机应用与软件
计算机辅助设计与图形学学报
小型微型计算机系统
控制理论与应用
控制理论与应用
遥感学报
传感器与微系统
传感技术学报
制造业自动化
微电子学与计算机
计算机工程与科学
机器人
计算机系统应用
计算机与现代化
测控技术
计算机与数字工程
工业控制计算机
测绘与空间地理信息
电机与控制学报
中文信息学报
福建电脑
控制工程
遥感技术与应用
信息与控制
关于我们
用户协议
隐私政策
知识产权保护
期刊导航
免费查重
论文知识
钛学术官网
按字母查找期刊:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他
联系合作 广告推广: shenyukuan@paperpass.com
京ICP备2021016839号
营业执照
版物经营许可证:新出发 京零 字第 朝220126号