基于双哈希词典机制中文分词的研究

• 作者: 刘超 王卫东
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: 中文分词 词典机制 双哈希
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 研究与探讨
• 页码范围: 152-156
• 页数: 5页
• 分类号: TP393
• 字数: 5040字
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2016.11.038

摘要

汉语词典机制很大程度上影响中文分词的效率.为了提高现有基于词典的分词机制的查询效率,在双哈希词典机制和整词二分法相结合的基础上提出了一种有效的中文分词词典机制——双哈希编码分词词典机制.首字采用散列表保存,剩余字符逐个拼接计算其编码后放入余词散列表中,并加入状态值来减少匹配次数.实验结果表明该分词机制节省了内存空间和提高了匹配速度,方便词典更新与维护.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王卫东	江苏科技大学计算机科学与工程学院	26	188	8.0	13.0
2	刘超	江苏科技大学计算机科学与工程学院	2	28	2.0	2.0