基于64位体系结构的倒排索引压缩算法

• 作者: 刘亚宁 单栋栋 孙志明 张旭东 闫宏飞
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 倒排索引 索引压缩 64 位体系结构 搜索引擎 信息检索
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 体系结构与软件技术
• 页码范围: 71-76
• 页数: 6页
• 分类号: TP301.6
• 字数: 4987字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.02.016

摘要

在64位体系结构的 CPU 中，字长从32位扩展到64位，处理器每次可以处理的数据也增加到64位。这对搜索引擎使用的核心数据结构--倒排索引的压缩与解压缩带来一定的影响。针对当前32位整数字对齐压缩算法 Simple 不适用于64位系统的问题，对其进行改进，并提出3种基于64位的字对齐压缩算法，即 SimpleX64-16、SimpleX64-32和 SimpleX64-64。3种算法都采用多种压缩模式，并对每个模式进行压缩空间的优化。在64位机器上 GOV2和 ClueWeb09B 数据集的倒排索引实验结果表明，与传统的基于32位字对齐的压缩算法相比，3种基于64位字对齐的算法在解压速度方面最多提高14.5%，在压缩率方面最多提高2.5%。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	闫宏飞	北京大学网络与信息系统研究所	32	414	11.0	20.0
2	孙志明	哈尔滨医科大学附属第一医院信息中心	4	8	1.0	2.0
3	张旭东	北京大学网络与信息系统研究所	7	64	3.0	7.0
4	单栋栋	北京大学网络与信息系统研究所	3	17	2.0	3.0
5	刘亚宁	北京大学网络与信息系统研究所	3	9	2.0	3.0