分布式数据集成管理工具的研究与实践

• 作者: 张诗军 甘杉 衡星辰 陈丰
• 来源期刊: 自动化与仪器仪表
• 学科: 工学
• 关键词: 分布式 数据集成 多线程
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 理论创新
• 页码范围: 33-36
• 页数: 4页
• 分类号: TP391.9
• 语种: 中文
• DOI: 10.14016/j.cnki.1001-9227.2017.05.033

摘要

随着大数据时代的到来,企业管理着规模庞大的数据资产,为满足企业日常批量数据集成、数据批量共享交换、数据分析的需求,本研究针对企业日常批量数据集成、数据批量共享交换、数据分析的工作的现状和难点,以及传统集中式数据集成管理工具存在的不足,提出了分布式数据集成管理工具解决方案,通过多节点、多线程的作业模式和智能化作业调度关键技术研究,完成了分布式数据集成管理工具搭建,并进行了试点应用,完成50亿条数据的抽取转换工作从82小时缩短至16 小时,12亿条数据的抽取转换工作从 19小时的抽取工作缩短至4小时,有效提升了数据集成效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张诗军		12	59	6.0	7.0
2	陈丰		9	23	3.0	4.0
3	衡星辰		4	7	2.0	2.0
4	甘杉		3	16	2.0	3.0