复杂环境下的大数据处理

• 作者: 吴正举
• 来源期刊: 互联网周刊
• 关键词: 政策环境 大数据 数据平台 数据应用 质量控制 数据接入方式 数据处理能力 企业级 技术平台 中国 数据质量 数据文件 数据流程 数据结构 数据架构 市场进入 任务监控 平台架构 技术架构 付诸实践
• 年，卷（期）: 2017,（8）
• 所属期刊栏目: 研究报告
• 页码范围: 64-65
• 页数: 2页
• 语种: 中文

摘要

随着大数据政策环境和技术手段的不断完善,大数据应用持续升温,中国企业级大数据市场进入快速发展时期.互联网、电信、金融、大型制造业等开始部署大数据平台并付诸实践,带动软件、硬件和服务市场快速发展.根据工信部电信研究院2017年3月27日发布的《中国大数据发展调查报告(2017年)》统计,Hadoop是最受欢迎的大数据平台架构,接近四成的受访企业倾向选择Hadoop作为大数据平台的技术架构.作为企业级数据资源处理和存储中心,大数据架构需要整合不同的技术平台、不同的数据结构、不同的数据接入方式等等.在复杂环境下,如何保证接入的稳定性、处理的高效性、质量的合规性等等,对大数据行动提出了新的挑战.通过建立统一的数据流程调度服务,支撑大数据批量数据文件任务调度、质量控制、任务监控,提升大数据处理能力,实现对数据质量的高效管控,是决定大数据应用是否成功的关键保障.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴正举		8	47	4.0	6.0