面向海量非结构化数据的非关系型存储管理机制

• 作者: 刘超 姚宏 梁庆中 胡成玉 颜雪松
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 非结构化数据 海量数据存储 非关系型存储管理 一致性哈希 故障处理
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 大数据
• 页码范围: 670-674
• 页数: 5页
• 分类号: TP311.13
• 字数: 5830字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2016.03.670

摘要

针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制.首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题.实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30％和50％;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14％.因此,该机制适用于海量非结构化数据的高效存储管理.