一种自适应字长的中文词库的构建方法

• 作者: 王启户 詹海生
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 异或算法 Hash函数 中文词库 自适应字长
• 年，卷（期）: 2011,（z1）
• 所属期刊栏目: 数据仓库和数据挖掘技术
• 页码范围: 382-386
• 分类号: TP391.3
• 字数: 3627字
• 语种: 中文

摘要

中文搜索引擎中的词库是提高文本信息存储与查找效率的关键.以异或Hash算法为基础,根据对不同字长词出现概率的统计结果,利用词条的机内编码和汉字笔画数,把不同字长的词散列到不同的Hash值区间.实验结果表明该算法可以将Hash值的冲突率降低到0.327‰,该方法可用于计算机语料库建设和中文输入法等自然语言处理过程.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	詹海生	西安电子科技大学计算机学院	13	111	4.0	10.0
2	王启户	西安电子科技大学计算机学院	1	1	1.0	1.0