一种基于多核环境的海量数据快速读取方法

• 作者: 李敬喆 杨银刚 葛根焰 马礼
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 海量数据 多核 快速读取 并行 负载均衡
• 年，卷（期）: 2011,（z1）
• 所属期刊栏目: 海量存储技术
• 页码范围: 63-67
• 分类号: TP311
• 字数: 4608字
• 语种: 中文

摘要

随着多核计算机的发展,多核PC机已经可以完成许多大规模计算任务,然而面对海量数据的处理,存储器与辅助存储器内的数据读取往往会成为提高应用程序运行速度的瓶颈,从而不能很好运用多核系统带来的优越硬件性能.基于多核环境的海量数据快速提取方法,以内存映射文件方法为基础并运用基于视图映射粒度的划分方式和动态与静态结合的负载均衡策略,实现了在多核平台下针对海量数据的高速并行提取.实验表明,此种方法充分发挥了多核环境的特点,并在数据量增大的情况下有良好的适应性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马礼	北方工业大学信息工程学院	46	277	7.0	15.0
2	杨银刚		10	31	2.0	5.0
3	葛根焰		7	15	2.0	3.0
4	李敬喆	北方工业大学信息工程学院	1	2	1.0	1.0