字标注汉语词法分析中上文和下文孰重孰轻

• 作者: 于江德 樊孝忠 王希杰
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 汉语词法分析 字标注 上下文 分词 词性标注 命名实体识别
• 年，卷（期）: 2012,（11）
• 所属期刊栏目: 人工智能
• 页码范围: 201-203,236
• 分类号: TP391
• 字数: 5603字
• 语种: 中文
• DOI: 10.3969/j.issn.1002-137X.2012.11.047

摘要

汉语词法分析是中文信息处理的基础,现阶段汉语词法分析的主流技术是基于统计的方法,这类方法的本质都是把词法分析过程看作序列数据标注问题.上下文是统计方法中获取语言知识和解决自然语言处理中多种实际应用问题必须依靠的资源和基础.汉语词法分析时需要从上下文获取相关的语言知识,但上文和下文是否同样重要呢?为克服仅凭主观经验给出猜测结果的不足,对基于字标注汉语词法分析的分词、词性标注、命名实体识别这3项子任务进行了深入研究,时比了上文和下文对各个任务性能的影响；在国际汉语语言处理评测Bakeoff多种语料上进行了封闭测试,采用分别表征上文和下文的特征模板集进行了对比实验.结果表明,在字标注框架下,下文对汉语词法分析性能的贡献比上文的贡献高出6个百分点以上.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	樊孝忠	北京理工大学计算机科学技术学院	127	2336	26.0	43.0
2	王希杰	安阳师范学院计算机与信息工程学院	29	180	7.0	12.0
3	于江德	安阳师范学院计算机与信息工程学院	33	345	10.0	17.0