面向数据分发系统的改进型并行I/O研究

• 作者: 余永忠 吕顺锋 皇甫汉聪 肖招娣
• 来源期刊: 自动化技术与应用
• 学科: 工学
• 关键词: 数据分发 并行计算 并行I/O Google File System 元数据
• 年，卷（期）: 2018,（10）
• 所属期刊栏目: 计算机应用
• 页码范围: 38-42
• 页数: 5页
• 分类号: TP311
• 字数: 4537字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-7241.2018.10.009

摘要

随着用户和业务复杂度的增加,数据仓库的数据对外服务能力急需提升,数据分发系统作为统一接口分发管理,不可避免地面对多用户数据访问的并发性通信阻塞问题.本文利用开源的Kettle工具构建数据分发功能应用,运用并行计算思想提升串行算法效率.在并行化过程中,详述了传统的数据分发收集并行I/O方案,并构建了时间估计方程.在分析总结其瓶颈问题的基础上,借鉴Google File System的思想,提出了基于元数据的并行I/O改进型新方案.实验证明,不论并行计算进程数(计算单元数)多少,基于元数据的并行I/O方案比数据分发收集方案都具有更好的性能,数据导入、导出耗时更短.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	肖招娣		15	38	4.0	5.0
2	余永忠		10	38	4.0	5.0
3	皇甫汉聪		11	28	3.0	4.0
4	吕顺锋		1	0	0.0	0.0