基于对偶编码的中文分词算法

• 作者: 张冰怡 陈建成 饶国政 魏博 魏杰
• 来源期刊: 南京理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 对偶编码 中文分词 特征匹配 数据压缩 散列 特征值 模糊匹配
• 年，卷（期）: 2014,（4）
• 页码范围: 526-530
• 页数: 5页
• 分类号: TP391.1
• 字数: 4052字
• 语种: 中文

摘要

为了提高中文分词算法的切分速度和存储效率，提出一种基于对偶编码的特征匹配算法。由中文分词的字符集和字符相邻关系提取特征值，根据此特征值在中文分词词典中进行快速匹配，基于字符的位置相邻关系提取特征值，支持模糊匹配，因此无需对多字词进行单独匹配，从而有效节省匹配时间。实验仿真表明，该算法可以降低特征存储空间，有效提高中文分词精度和效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	饶国政	天津大学计算机科学与技术学院	26	149	8.0	10.0
5	张冰怡	天津大学计算机科学与技术学院	3	17	3.0	3.0
9	魏博	天津大学计算机科学与技术学院	1	8	1.0	1.0
10	陈建成		1	8	1.0	1.0
11	魏杰	北京邮电大学网络与交换技术国家重点实验室	1	8	1.0	1.0