基于多维分层采样的时间维度型大数据流整合系统设计

• 作者: 刘凤屿 曹文琛 李双琴 谢锐 邹妍
• 来源期刊: 现代电子技术
• 关键词: 数据流整合 多维分层采样 数据采集 数据质量检测 模型搭建 系统设计
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 电子技术及应用
• 页码范围: 133-136,140
• 页数: 5页
• 分类号: TN02-34
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2020.05.031

摘要

现有大数据流整合系统采用统一随机采样策略,当整合环境存在干扰时会出现严重的数据丢失现象,为解决上述问题,引入多维分层采样策略,分别从硬件和软件两个方面实现对时间维度型大数据流整合系统的优化设计.在硬件方面主要改装微处理器、存储器以及数据分类器等元件,提高硬件系统的运行稳定性.在此基础上,搭建多时间维度数据分层模型,并通过大数据流业务系统数据实现数据探查,并以多维分层的聚类算法为底层逻辑,检测数据质量.最终将质量检测合格的数据流整合在一起,从而实现系统的数据流整合功能.通过系统测试得出如下结论:在复杂环境下,基于多维分层采样的时间维度型大数据流整合系统的丢失数据量为1.25 MB,与传统整合系统相比减少了15 MB.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邹妍	中国石油天然气股份有限公司西南管道分公司技术中心	7	23	3.0	4.0
2	李双琴		4	23	2.0	4.0
6	谢锐	中国石油天然气股份有限公司西南管道分公司技术中心	4	3	1.0	1.0
7	曹文琛	中国石油天然气股份有限公司西南管道分公司技术中心	1	0	0.0	0.0
8	刘凤屿		1	0	0.0	0.0