一种中文分词词典新机制——四字哈希机制

• 作者: 张培颖 李村合
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: 中文信息处理 自动分词 分词词典 四字哈希
• 年，卷（期）: 2006,（10）
• 所属期刊栏目: 技术交流
• 页码范围: 35-36,55
• 页数: 3页
• 分类号: TP3
• 字数: 3166字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-757X.2006.10.011

摘要

词典是中文自动分词的基础,分词词典机制的优劣直接影响到中文分词的速度和效率.本文首先分析了分词词典在中文信息处理中的作用和已有的三种典型的词典机制,并在此基础上根据中文词语中双字词语较多,并且三字词、四字成语也较多这一特点提出了一种新的分词词典机制-四字哈希机制,充分发挥了现代计算机内存大空间的优势,提高了分词的速度和效率.