基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
数据质量问题会对大数据的应用产生致命影响,因此需要对存在数据质量问题的大数据进行清洗。 MapReduce 编程框架可以利用并行技术实现高可扩展性的大数据清洗,然而,由于缺乏有效的设计,在基于MapReduce 的数据清洗过程中存在计算的冗余,导致性能降低。因此文中的目的是对并行数据清洗过程进行优化从而提高效率。通过研究,作者发现数据清洗中一些任务往往都运行在同一输入文件上或者利用同样的运算结果,基于该发现文中提出了一种新的优化技术———基于任务合并的优化技术。针对冗余计算和利用同一输入文件的简单计算进行合并,通过这种合并可以减少 MapReduce 的轮数从而减少系统运行的时间,最终达到系统优化的目标。文中针对数据清洗过程中多个复杂的模块进行了优化,具体来说分别对实体识别模块、不一致数据修复模块和缺失值填充模块进行了优化。实验结果表明,文中提出的策略可以有效提高数据清洗的效率。
推荐文章
基于大数据的数据清洗研究
数据清洗
方差分量
大数据
长程依赖
多级模型
时间序列
基于MapReduce并行化计算的大数据聚类算法
大数据
MapReduce
并行计算
数据聚类
网格中数据并行流水线的任务指派优化
网格
流水线
数据并行流水线
吞吐率
延迟
任务指派
基于云计算的海量大数据智能清洗系统设计
云计算
海量大数据
智能清洗系统
云聚类
查准率
召回率
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 基于任务合并的并行大数据清洗过程优化
来源期刊 计算机学报 学科 工学
关键词 大数据 多任务优化 海量数据 数据清洗 Hadoop MapReduce
年,卷(期) 2016,(1) 所属期刊栏目 大数据分析
研究方向 页码范围 97-108
页数 12页 分类号 TP311
字数 9870字 语种 中文
DOI 10.11897/SP.J.1016.2016.00097
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 李建中 哈尔滨工业大学计算机科学与技术学院 237 6003 33.0 72.0
2 王宏志 哈尔滨工业大学计算机科学与技术学院 69 557 12.0 21.0
3 高宏 哈尔滨工业大学计算机科学与技术学院 109 1574 18.0 36.0
4 李宁宁 哈尔滨工业大学计算机科学与技术学院 11 215 6.0 11.0
5 杨东华 哈尔滨工业大学计算机科学与技术学院 11 167 7.0 11.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (10)
共引文献  (24)
参考文献  (7)
节点文献
引证文献  (48)
同被引文献  (162)
二级引证文献  (246)
1977(1)
  • 参考文献(0)
  • 二级参考文献(1)
1998(3)
  • 参考文献(1)
  • 二级参考文献(2)
2007(4)
  • 参考文献(1)
  • 二级参考文献(3)
2008(1)
  • 参考文献(0)
  • 二级参考文献(1)
2009(1)
  • 参考文献(1)
  • 二级参考文献(0)
2011(2)
  • 参考文献(0)
  • 二级参考文献(2)
2012(1)
  • 参考文献(0)
  • 二级参考文献(1)
2013(2)
  • 参考文献(2)
  • 二级参考文献(0)
2014(1)
  • 参考文献(1)
  • 二级参考文献(0)
2015(1)
  • 参考文献(1)
  • 二级参考文献(0)
2016(5)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(4)
  • 二级引证文献(1)
2016(5)
  • 引证文献(4)
  • 二级引证文献(1)
2017(35)
  • 引证文献(12)
  • 二级引证文献(23)
2018(85)
  • 引证文献(15)
  • 二级引证文献(70)
2019(95)
  • 引证文献(8)
  • 二级引证文献(87)
2020(74)
  • 引证文献(9)
  • 二级引证文献(65)
研究主题发展历程
节点文献
大数据
多任务优化
海量数据
数据清洗
Hadoop
MapReduce
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机学报
月刊
0254-4164
11-1826/TP
大16开
中国科学院计算技术研究所(北京2704信箱)
2-833
1978
chi
出版文献量(篇)
5154
总下载数(次)
49
相关基金
国家自然科学基金
英文译名:the National Natural Science Foundation of China
官方网址:http://www.nsfc.gov.cn/
项目类型:青年科学基金项目(面上项目)
学科类型:数理科学
论文1v1指导