汉语分词中上文和下文重要性比较

• 作者: 于江德 樊孝忠 王希杰
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 汉语分词 上下文 条件随机场 词位标注 特征模板
• 年，卷（期）: 2011,（4）
• 所属期刊栏目: 数据库、信号与信息处理
• 页码范围: 117-120
• 分类号: TP391
• 字数: 4956字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2011.04.032

摘要

上下文是统计语言学中获取语言知识和解决自然语言处理中多种实际应用问题必须依靠的资源和基础.近年来基于字的词位标注的方法极大地提高了汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,当前字的词位标注需要借助于该字的上下文来确定.为克服仅凭主观经验给出猜测结果的不足,采用四词位标注集,使用条件随机场模型研究了词位标注汉语分词中上文和下文对分词性能的贡献情况,在国际汉语分词评测Bakeoff2005的PKU和MSRA两种语料上进行了封闭测试,采用分别表征上文和下文的特征模板集进行了对比实验,结果表明,下文对分词性能的贡献比上文的贡献高出13个百分点以上.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	樊孝忠	北京理工大学计算机科学技术学院	127	2336	26.0	43.0
2	王希杰	安阳师范学院计算机与信息工程学院	29	180	7.0	12.0
3	于江德	安阳师范学院计算机与信息工程学院	33	345	10.0	17.0