大数据系统开发中的构件自动选型与参数配置

• 作者: 邱明明 钟雨 黄向东
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 大数据系统 构件选型 决策树模型 参数配置 性能模型
• 年，卷（期）: 2016,（9）
• 所属期刊栏目: 学术研究
• 页码范围: 1211-1220
• 页数: 10页
• 分类号: TP391
• 字数: 8663字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1509021

摘要

大数据应用系统包含数据的采集、存储、分析、挖掘、可视化等多个技术环节,各个环节都存在多种解决方案,涉及到的各类系统有数百种之多,且系统配置较为复杂,这给企业的大数据应用系统构建带来了极大的挑战.针对大数据应用系统开发中构件选型的难题,通过建立规范化的需求指标,并采用决策树模型实现了大数据构件的自动选型.从几个主流的分布式存储系统出发,以Cassandra为例,利用多元回归拟合的方法针对硬件参数建立相应的性能模型,将用户需求作为输入,利用性能模型进行系统硬件参数配置;通过研究系统原理、架构、特点及应用场景,构建软件参数配置知识库指导软件参数的配置,从而解决了大数据系统开发中的构件自动选型和参数配置问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄向东	清华大学软件学院	12	104	4.0	10.0
2	钟雨	清华大学软件学院	2	11	1.0	2.0
3	邱明明	清华大学软件学院	2	0	0.0	0.0