作者:
基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
设计并实现了一种通用的具有高可靠性和可扩展性的分布式网络数据抓取系统.给出了服务器和抓取节点的执行算法,并利用实时数据库InfluxDB和可视化框架Grafana设计了抓取节点的性能监控系统.利用系统可以跟据需求对互联网的数据进行快速地抓取和收集.
推荐文章
一种分布式编译系统的设计与实现
分布式编译
集群
MSBuild
一种分布式监控系统的设计与实现
OPTO
以太网
DCS
控制策略
模块
一种协同的分布式本体管理系统设计与实现
本体管理系统
协同
分布式
非结构化信息
一种分布式磁盘缓存的设计与实现
分布式
内存密集型
磁盘缓存
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 一种通用分布式数据抓取系统的设计与实现
来源期刊 哈尔滨商业大学学报(自然科学版) 学科 工学
关键词 分布式网络系统 数据抓取 InfluxDB Grafana
年,卷(期) 2016,(3) 所属期刊栏目 计算机与信息工程
研究方向 页码范围 307-312
页数 6页 分类号 TP393
字数 4463字 语种 中文
DOI
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 潘庆和 哈尔滨商业大学计算机与信息工程学院 8 34 3.0 5.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (0)
共引文献  (0)
参考文献  (0)
节点文献
引证文献  (7)
同被引文献  (33)
二级引证文献  (4)
2016(0)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(0)
  • 二级引证文献(0)
2018(4)
  • 引证文献(3)
  • 二级引证文献(1)
2019(4)
  • 引证文献(2)
  • 二级引证文献(2)
2020(3)
  • 引证文献(2)
  • 二级引证文献(1)
研究主题发展历程
节点文献
分布式网络系统
数据抓取
InfluxDB
Grafana
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
哈尔滨商业大学学报(自然科学版)
双月刊
1672-0946
23-1497/N
大16开
哈尔滨市道里区通达街138号
1980
chi
出版文献量(篇)
3911
总下载数(次)
16
  • 期刊分类
  • 期刊(年)
  • 期刊(期)
  • 期刊推荐
论文1v1指导