编码单位可变的倒排索引压缩算法研究

• 作者: 安兆翔 瞿有利
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 倒排索引 索引压缩 可变单位 分区优化
• 年，卷（期）: 2019,（15）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 82-88
• 页数: 7页
• 分类号: TP391.1
• 字数: 7898字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1803-0386

摘要

倒排索引是大多数大型文本搜索系统的核心数据结构,索引压缩可以有效地减少倒排索引的空间占用,提升检索效率.针对倒排索引压缩算法中的字节对齐编码进行研究,对于其压缩率不够优秀的问题,提出了分区可变单位编码(PVU编码).算法以可变单位方式代替固定字节存储,使实际存储空间更加贴合原码长度,从而提高压缩效果.针对序列均匀分区并非最优分区的问题,提出将最优分区问题转化为图论中最短路径问题的方法,使用Dijk-stra算法求解序列的最优编码分区.通过对比实验验证了改进优化的PVU编码相较于传统的字节对齐编码能够更好地压缩倒排索引序列.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	瞿有利	北京交通大学计算机与信息技术学院	19	179	6.0	13.0
2	安兆翔	北京交通大学计算机与信息技术学院	1	0	0.0	0.0