基于改进最大匹配算法的中文分词粗分方法

• 作者: 周俊 张炜 郑中华
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 中文分词 最大匹配 广义词 诱导词集
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 网络、通信、安全
• 页码范围: 124-128
• 页数: 5页
• 分类号: TP391.12
• 字数: 6289字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1203-0002

摘要

中文粗分和歧义消解是中文分词的两大基本过程。通过引入广义词条和诱导词集，在最大匹配算法基础上提出一种中文分词的粗分方法，以最长广义词匹配为原则进行中文分词，利用诱导词集实现交叉型歧义识别。在保证快速准确切分无歧义汉语语句的同时，100%检测并标记有歧义汉语语句中的交叉型歧义，最大程度上简化后续歧义消解过程。通过对含有160万汉字1998年1月人民日报语料测试的结果证明了算法速度、歧义词准确率以及粗分召回率的有效性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周俊	华中科技大学模具技术国家重点实验室	31	272	9.0	15.0
3	郑中华	中国人民大学教育学院	11	156	6.0	11.0
4	张炜		3	75	2.0	3.0