一种基于统计的分词标注一体化方法

• 作者: 宋继华 廖敏 褚颖娜
• 来源期刊: 计算机系统应用
• 关键词: 分词标注 粗分模型 双数组Trie树索引 马尔可夫标注模型 全切分
• 年，卷（期）: 2009,（12）
• 所属期刊栏目: 研究开发
• 页码范围: 55-58
• 页数: 4页
• 字数: 4767字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-3254.2009.12.013

摘要

分词标注是中文信息处理的基础.传统方法的处理步骤大都是首先对文本进行预处理,得到文本的粗分模型,在此基础上对词语进行词性标注.粗分模型集合的大小取决于采用的分词方法,粗分模型的准确性直接影响着后续处理结果的准确性.提出一种基于统计的分词标注一体化方法即概率全切分标注模型,该方法的特点是将分词、标注两部分工作融为一体同时进行,在利用全切分获得所有可能分词结果的过程中,计算出每种词串的联合概率,同时利用马尔可夫模型计算出每种词串所有可能标记序列的概率,由此得到最可能的处理结果.该方法提高了结果的召回率和准确率,由于在查询词典时采用的是单次查询双数组Trie树索引,因此效率也很高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋继华	北京师范大学信息科学与技术学院	57	461	11.0	18.0
2	廖敏	北京师范大学信息科学与技术学院	4	39	3.0	4.0
3	褚颖娜	北京师范大学信息科学与技术学院	2	24	2.0	2.0