基于统计感知的大数据系统计算框架

• 作者: 何玉林 魏丞昊 黄哲学
• 来源期刊: 深圳大学学报（理工版）
• 学科: 工学
• 关键词: 计算机系统结构 大数据 随机样本划分 逼近式集成学习 并行分布式计算 分布式处理系统
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 学术快报
• 页码范围: 441-443
• 页数: 3页
• 分类号: TP311
• 字数: 2009字
• 语种: 中文
• DOI: 10.3724/SP.J.1249.2018.05441

摘要

为在一定计算资源条件下实现大数据可计算化,本研究提出一种基于统计感知思想的Tbyte级大数据系统计算框架Bigdata-α,该框架的核心为大数据随机样本划分模型和逼近式集成学习模型.前者保证了划分后每个子数据块所包含的样本与大数据总体概率分布的一致性.后者通过分析若干个随机样本数据块替代了Tbyte级全量数据分析.使用1Tbyte模拟数据集验证随机样本划分模型的有效性,通过逐渐增加随机样本块的个数,提升了Higgs数据集基分类器的分类准确度,证明该方法能克服大数据分析中计算资源的限制瓶颈.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	何玉林	深圳大学计算机与软件学院大数据技术与应用研究所	8	12	2.0	3.0
2	黄哲学	深圳大学计算机与软件学院大数据技术与应用研究所	9	48	3.0	6.0
3	魏丞昊	深圳大学计算机与软件学院大数据技术与应用研究所	3	6	2.0	2.0