基于Hadoop的电商大数据平台性能调优

• 作者: 刘子琦 陶利民 马亚铭
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 大数据平台 电子商务 Hadoop 性能调优
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 数据库与信息处理
• 页码范围: 186-189
• 页数: 4页
• 分类号: TP391
• 字数: 4066字
• 语种: 中文
• DOI: 10.11907/rjdk.192524

摘要

为了提升电商大数据平台复杂数据操作性能,通过分析电商业务特点,从数据重新组织与平台参数调优两个方面对数据平台进行优化.在数据重新组织方面,使用ORC数据格式存储数据,并对数据表进行合理的分区、分桶;在平台参数调优方面,对业务涉及到的主要组件参数进行针对性调节.最后,通过搭建具有32个节点的Hadoop集群,并使用TPC-DS测试集进行仿真实验,验证调优思路及方法的有效性.结果表明,调优之后的平台性能大约是未进行任何优化平台的7.5倍,优化效果显著.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陶利民		3	12	2.0	3.0
2	马亚铭		1	0	0.0	0.0
3	刘子琦		1	0	0.0	0.0