汉语分词索引字数与分词效率的对比研究

• 作者: 何利益 郭建彬 郭罡
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 计算机应用 中文分词 词典机制 三字哈希索引
• 年，卷（期）: 2008,（26）
• 所属期刊栏目: 数据库、信号与信息处理
• 页码范围: 135-137
• 页数: 3页
• 分类号: TP391
• 字数: 4330字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2008.26.041

摘要

针对汉语分词词典中双字哈希索引机制未能充分利用索引分词,而分词效率又明显优于首字哈希索引机制的问题,在充分分析汉语构词特点的基础上,提出了基于三字哈希索引的分词词典机制,并通过将字串的三态标记与下一索引指针的乘积作为哈希值的链地址法,简化了词典结构,节省了内存空间.理论分析和真实语料仿真均证明了三字哈希索引机制与不同字数的其他索引机制相比,具有更好的分词效率.