基于中间层的可扩展学习索引技术

• 作者: 叶金标 杨念祖 陈贵海 高晓沨 高远宁
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 学习索引 聚类 神经网络 动态更新
• 年，卷（期）: 2020,（3）
• 页码范围: 620-633
• 页数: 14页
• 分类号: TP18
• 字数: 10095字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005910

摘要

在大数据与云计算时代,数据访问速度是衡量大规模存储系统性能的一个重要指标.因此,如何设计一种轻量、高效的数据索引结构,从而满足系统高吞吐率、低内存占用的需求,是当前数据库领域的研究热点之一.Kraska等人提出使用机器学习模型代替传统的B树索引,并在真实数据集上取得了不错的效果,但其提出的模型假设工作负载是静态的、只读的,对于索引更新问题没有提出很好的解决办法.提出了基于中间层的可扩展的学习索引模型Dabble,用来解决索引更新引发的模型重训练问题.首先,Dabble模型利用K-Means聚类算法将数据集划分为K个区域,并训练K个神经网络分别学习不同区域的数据分布.在模型训练阶段,创新性地把数据的访问热点信息融入到神经网络中,从而提高模型对热点数据的预测精度在数据插入时,借鉴了LSM树延迟更新的思想,提高了数据写入速度.在索引更新阶段,提出一种基于中间层的机制将模型解耦,从而缓解由于数据插入带来的模型更新问题.分别在Lognormal数据集以及Weblogs数据集上进行实验验证,结果表明,与当前先进的方法相比,Dabble模型在查询以及索引更新方面都取得了非常好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高远宁		1	0	0.0	0.0
5	叶金标		1	0	0.0	0.0
9	杨念祖		1	0	0.0	0.0
13	高晓沨		1	0	0.0	0.0
17	陈贵海		1	0	0.0	0.0