基于规则和统计的日语分词和词性标注的研究

• 作者: 姜尚仆 陈群秀
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 人工智能 机器翻译 日汉机器翻译系统 日语分词 日语词性标注 联合分词
• 年，卷（期）: 2010,（1）
• 页码范围: 117-122
• 页数: 6页
• 分类号: TP391
• 字数: 5331字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2010.01.021

摘要

日语分词和词性标注是以日语为源语言的机器翻译等自然语言处理工作的第一步.该文提出了一种基于规则和统计的日语分词和词性标注方法,使用基于单一感知器的联合分词和词性标注算法作为基本框架,在其中加入了基于规则的词语的邻接属性作为特征.在小规模测试集上的实验结果表明,这种方法分词的F值达到了98.2%,分词加词性标注的F值达到了94.8%.该文所采用的方法已经成功应用到日汉机器翻译系统中.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈群秀	清华大学信息科学与技术国家实验室	8	148	7.0	8.0
5	姜尚仆	清华大学信息科学与技术国家实验室	1	18	1.0	1.0