基于字符树结构的高性能中文词库技术

• 作者: 杨丰赫 杨光豹 郑慧锦
• 来源期刊: 计算机系统应用
• 关键词: 字符树 中文分词 散列法 折半法 时间复杂度
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 研究开发
• 页码范围: 262-267
• 页数: 6页
• 字数: 5493字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.007052

摘要

海量中文信息处理是大数据处理的一个分支,而利用大数据技术进行中文信息处理一定离不开中文分词,所以中文分词技术是大数据中文信息处理的基础性技术.中文分词技术自本世纪以来,一直在性能与精确度两个方向在推进;在性能方面主要以改进分词扫瞄算法,改进词库存储技术与查询方式来提高性能.在精确度上主要是对未登录词与歧义词的甄别与处理方法进行改进.本文摒弃了通过词库索引查询的思想,提出一种基于字符树的词库存储结构.它的分词速度是普通折半法的35倍,占用内存只是它的1/5.它将为大数据技术在处理中文信息时在性能上推进了一大步.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨光豹	浙江广播电视大学青田学院	5	14	3.0	3.0
2	杨丰赫	东南大学网络空间安全学院	1	1	1.0	1.0