归纳学习与规则结合的分词方法的有效性考察

• 作者: 王忠建 王悦
• 来源期刊: 哈尔滨师范大学自然科学学报
• 学科: 数学
• 关键词: 自然语言处理 分词 归纳学习 规则
• 年，卷（期）: 2010,（1）
• 页码范围: 40-43
• 分类号: O1
• 字数: 4214字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-5617.2010.01.013

摘要

随着互联网的普及和网上电子文本信息的爆炸式的增加,自然语言处理技术面向动态的、变化的文本显得越来越必要.针对无切分语言的分词处理的主要难点是切分歧义和未知词的处理.基于归纳学习的分词方法,仅利用文本的表层信息,因此具有完全不依赖于某特定语言的优点.通过引入包含上下文信息的消歧处理规则,对基于归纳学习的分词方法进行改进.以归纳学习方法对未知词进行推测,抽出的规则用于歧义切分的消歧处理,提高了对切分歧义的处理精度.通过实验对规则的有效性进行了考察,并给出了改进方法的分词效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王悦		10	34	4.0	5.0
2	王忠建		10	16	2.0	3.0