一种改进逐字二分中文分词词典设计

• 作者: 杨毅 王禹桥
• 来源期刊: 湘潭大学自然科学学报
• 学科: 工学
• 关键词: 中文分词 次字 哈希 最大匹配 逐字二分
• 年，卷（期）: 2009,（4）
• 页码范围: 124-128
• 页数: 5页
• 分类号: TP391.1
• 字数: 4713字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-5900.2009.04.025

摘要

在研究了多种分词词典机制的基础上,提出一种改进的词典机制.在传统的首字哈希表中增加拼音首字母和次字哈希标志项,在首字哈希表中查询次字的拼音首字母,根据双字以上词的数量决定是否按次字拼音首字母散列到次字首字母哈希表中,以此决定次字的查询方式.在兼顾空间复杂度的同时,缩小次字查询范围能较大幅度地提升高频词的次字的整体查询效率.第3字及其后的字串的匹配仍然采用目前成熟的词典机制.通过实验测试,该机制在增加少量的存储空间情况下,时间效率可提升26%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王禹桥	中国矿业大学机电工程学院	55	492	12.0	20.0
2	杨毅	西华大学数学与计算机学院	25	148	5.0	11.0