基于平行语料和翻译概率的多语种词对齐方法

• 作者: 崔荣一 易志伟 杨飞扬 赵亚慧
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 词对齐 平行语料 翻译概率 Zipf定律
• 年，卷（期）: 2019,（12）
• 所属期刊栏目: 机器翻译
• 页码范围: 37-44
• 页数: 8页
• 分类号: TP391
• 字数: 5454字
• 语种: 中文

摘要

为了实现多语种词对齐,该文提出一种以点互信息为基础的翻译概率作为改进的多语种单词关联强度度量方法.首先,论证了在服从Zipf定律的普通频级词区域,单词间关联强度的点互信息度量法可简化为翻译概率;其次,对汉语、英语、朝鲜语平行语料进行句子对齐、分词和去停用词等预处理后计算平行语料单词之间的翻译概率,取翻译概率最高的前k个词作为候选翻译词,并通过优化处理提高了词对齐准确率.实验结果表明,该方法可以不完全依赖语料规模,在小规模语料中取得94％以上的准确率,为跨语言小众文献及低资源语言词对齐提供了技术基础.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	崔荣一	延边大学计算机科学与技术学院	56	157	5.0	10.0
2	赵亚慧	延边大学计算机科学与技术学院	18	12	2.0	2.0
3	易志伟	延边大学计算机科学与技术学院	2	1	1.0	1.0
4	杨飞扬	延边大学计算机科学与技术学院	1	1	1.0	1.0