基于邻接矩阵全文索引模型的文本压缩技术

• 作者: 胡运发 陶晓鹏
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 计算机应用 中文信息处理 邻接矩阵 文本压缩 压缩模型 基于不定长单词的Huffman编码
• 年，卷（期）: 2004,（1）
• 页码范围: 33-41
• 页数: 9页
• 分类号: TP391
• 字数: 6046字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2004.01.006

摘要

基于不定长单词的压缩模型的压缩效率高于基于字符的压缩模型,但是它的最优符号集的寻找算法是NP完全问题,本文提出了一种基于贪心算法的计算最小汉字平均熵的方法,发现一个局部最优的单词表.这种方法的关键是将文本的邻接矩阵索引作为统计基础,邻接矩阵全文索引是论文 [9]提出的一种新的全文索引模型,它忠实地反映了原始文本,很利于进行原始文本的初步统计,因此算法效率得以提高,其时间复杂度与文本的汉字种数成线性关系,能够适应在线需要.并且,算法生成的压缩模型的压缩比是0.47,比基于字的压缩模型的压缩效率提高25%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡运发	复旦大学计算机系	150	3430	27.0	54.0
2	陶晓鹏	复旦大学计算机系	19	564	7.0	19.0