基于改进Trie树的歧义消解方法

• 作者: 乐红兵 陈倩
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 词典 自动分词 歧义切分 Trie树 双字Hash存储 词频 词性
• 年，卷（期）: 2020,（9）
• 所属期刊栏目: 信息处理与网络安全
• 页码范围: 2238-2243
• 页数: 6页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2020.09.031

摘要

词典是汉语自动分词的基础,减少交集型歧义可以提高分词的准确率.在基于词典切分中,传统的Trie树每个节点存储一个字符,构建时产生了很多空指针.为了优化词典存储结构,在Trie树的基础上,采用双字Hash机制:把Trie索引树的深度限制为2,词的剩余字符串则按序组成类似"整词二分"的词典正文,并在每组词语的叶子节点上增加词频和词性的属性值,用于后序的交集型歧义识别.加载了搜狗实验室中文互联网语料统计出的15万条高频词,平均大小为60KB的5篇不同领域的测试语料作为测试样本.实验结果表明:相比其他词典而言,双字Hash分词速度得到显著提高,分词的正确率达到93.1％,基本可以满足实用型中文信息处理系统的需要.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	乐红兵		30	94	5.0	8.0
2	陈倩		3	4	1.0	2.0