基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
针对Hadoop分布式文件系统(HDFS)的写性能在执行效率上的不足,提出一种在节点性能异构环境中对HDFS数据块进行并发传输的调度算法.该算法实时监控HDFS集群中每个节点的资源状态和内存缓存队列,动态地将接收节点与转发节点进行配对传输,使全系统节点的网卡和磁盘并发工作,缩短了所有副本写入分布式文件系统的时间.将数据写入磁盘后请求下一个数据块,保证数据安全性,同时也使得各个节点获得与自身性能相匹配的副本数,使性能异构的系统能达到较高的写入速度.性能测试结果表明,使用该算法的分布式文件系统的写入性能较原始的HDFS提高了1倍.
推荐文章
异构环境下改进的LATE 调度算法
异构环境
LATE
调度算法
慢任务
负载均衡
异构环境下自适应reduce任务调度算法的研究
Hadoop
reduce
异构环境
数据本地性
计算能力
异构环境下平滑加权轮询Reduce任务调度算法研究
Reduce任务调度
负载均衡
异构集群
平滑加权轮询算法
节点选取
并行图像处理
异构资源环境下Hadoop节点能力自适应调度算法
Hadoop
异构资源
节点能力
自适应
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 异构环境中HDFS数据块调度算法的设计与实现
来源期刊 计算机工程 学科 工学
关键词 异构 Hadoop分布式文件系统 并发 数据块 调度
年,卷(期) 2017,(8) 所属期刊栏目 体系结构与软件技术
研究方向 页码范围 82-89
页数 8页 分类号 TP391
字数 6484字 语种 中文
DOI 10.3969/j.issn.1000-3428.2017.08.014
五维指标
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (24)
共引文献  (33)
参考文献  (7)
节点文献
引证文献  (3)
同被引文献  (20)
二级引证文献  (1)
2003(2)
  • 参考文献(0)
  • 二级参考文献(2)
2004(1)
  • 参考文献(0)
  • 二级参考文献(1)
2006(2)
  • 参考文献(0)
  • 二级参考文献(2)
2007(1)
  • 参考文献(0)
  • 二级参考文献(1)
2008(3)
  • 参考文献(0)
  • 二级参考文献(3)
2009(2)
  • 参考文献(0)
  • 二级参考文献(2)
2010(1)
  • 参考文献(0)
  • 二级参考文献(1)
2011(4)
  • 参考文献(1)
  • 二级参考文献(3)
2012(4)
  • 参考文献(0)
  • 二级参考文献(4)
2013(3)
  • 参考文献(2)
  • 二级参考文献(1)
2014(5)
  • 参考文献(1)
  • 二级参考文献(4)
2015(2)
  • 参考文献(2)
  • 二级参考文献(0)
2016(1)
  • 参考文献(1)
  • 二级参考文献(0)
2017(0)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(0)
  • 二级引证文献(0)
2019(2)
  • 引证文献(2)
  • 二级引证文献(0)
2020(2)
  • 引证文献(1)
  • 二级引证文献(1)
研究主题发展历程
节点文献
异构
Hadoop分布式文件系统
并发
数据块
调度
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机工程
月刊
1000-3428
31-1289/TP
大16开
上海市桂林路418号
4-310
1975
chi
出版文献量(篇)
31987
总下载数(次)
53
论文1v1指导