基于百科语料的中英文双语词典提取

• 作者: 王星 单力秋 侯磊 于济凡 陈吉 陶明阳
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 双语词典提取 跨语言自然语言处理 部分双语语料
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 语言资源建设
• 页码范围: 25-33
• 页数: 9页
• 分类号: TP391
• 语种: 中文

摘要

双语词典是跨语言自然语言处理中一项非常重要的资源.目前提取双语词典的方法主要是基于平行语料库和基于可比语料库,但是这两种方法在提取新词或者某些技术术语时都存在双语资源匮乏的问题.相比之下,基于部分双语语料的方法由于利用的是新闻或者百科知识,故可以很好地解决这个问题,然而目前基于部分双语语料的方法主要集中在对文本内容的提取上,缺乏对文本内容以外部分的提取.针对此不足,该文以中英文两种语言为例,提出了一种基于百科语料的中英文双语词典的提取方法.该方法是在对文本内容提取的基础上结合在线百科的结构特点,分别用五种不同的方法对百科语料进行提取,综合查重后得到的双语信息数量为969308条.与以往的基于部分双语语料的双语词典的提取方法相比,该方法在在线百科语料上的提取数量提高了170.75％.