基于维基百科的双语可比语料的句子对齐

• 作者: 姚天昉 胡弘思
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 句子对齐 可比语料 维基百科 SVM
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 语言资源建设
• 页码范围: 198-203
• 页数: 6页
• 分类号: TP391
• 语种: 中文

摘要

该文提出了一种从维基百科的可比语料中抽取对齐句子的方法.在获取了维基百科中英文数据库备份并进行一定处理后,重构成本地维基语料数据库.在此基础上,统计了词汇数据、构建了命名实体词典,并通过维基百科本身的对齐机制获得了双语可比语料文本.然后,该文在标注的过程中分析了维基百科语料的特点,以此为指导设计了一系列的特征,并确定了“对齐”、“部分对齐”、“不对齐”三分类体系,最终采用SVM分类器对维基百科语料和来自第三方的平行语料进行了句子对齐实验.实验表明:对于语言较规范的可比语料,分类器对对齐句的分类正确率可达到82％,对于平行语料,可以达到92％,这说明该方法是可行且有效的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姚天昉		31	1041	13.0	31.0
2	胡弘思		2	8	1.0	2.0