Key-Value型NoSQL本地存储系统研究

• 作者: 包云岗 孟潇 张立新 朱妤晴 熊劲 蒋德钧 马文龙
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: NoSQL 键值存储 多核扩展性 并发数据结构 日志结构合并型存储 SSD/NVM
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 数据科学与工程
• 页码范围: 1722-1751
• 页数: 30页
• 分类号: TP311
• 字数: 35482字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2018.01722

摘要

NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前的硬件发展新趋势,如多核处理器、大内存和低延迟闪存、非易失性内存NVM(Non-Volatile Memory)等,难以充分发挥新硬件的优势,如数据索引、并发控制、事务日志管理等技术在多核架构下存在多核扩展性问题,又如数据存储策略不适应闪存SSD(Solid State Drive)的新存储特性而产生了1O利用率低效的问题.针对多核处理器、大内存和闪存、NVM等硬件发展新趋势,文中面向当前的大数据应用背景,综述了KV型本地存储系统在索引技术、并发控制、事务日志管理和数据放置等核心模块上的最新优化技术和系统研究成果.从处理器、内存和持久化存储的角度概括了KV型本地存储系统当前存在的最优技术,总结了当前研究尚未解决的技术挑战,并对KV型本地存储系统在CPU缓存高效性、事务日志扩展性和高可用性等方面的研究进行了展望.