基于CRF的先秦汉语分词标注一体化研究

• 作者: 李斌 石民 陈小荷
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 计算机应用 中文信息处理 先秦汉语 分词 词性标注 左传 条件随机场模型
• 年，卷（期）: 2010,（2）
• 页码范围: 39-45
• 页数: 7页
• 分类号: TP391
• 字数: 6626字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2010.02.005

摘要

该文探索了古代汉语,特别是先秦文献的词切分及词性标注.首先对<左传>文本进行了词汇处理(分词和词性标注)和考察分析,然后采用条件随机场模型(CRF),进行自动分词、词性标注、分词标注一体化的对比实验.结果表明,一体化分词比单独分词的准确率和召回率均有明显提高,开放测试的F值达到了94.60%;一体化词性标注的F值达到了89.65%,比传统的先分词后标注的"两步走"方法有明显提高.该项研究可以服务于古代汉语词汇研究和语料库建设,以弥补人工标注的不足.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈小荷	南京师范大学文学院	58	503	13.0	19.0
2	李斌	南京师范大学文学院	39	351	10.0	18.0
3	石民	南京师范大学文学院	2	64	2.0	2.0