跨语言相似文档检索

• 作者: 俞士汶 施水才 王洪俊 肖诗斌
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 计算机应用 中文信息处理 跨语言相似文档检索 文档相似度 双语文档对齐
• 年，卷（期）: 2007,（1）
• 页码范围: 30-37
• 页数: 8页
• 分类号: TP3
• 字数: 7753字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2007.01.005

摘要

检索一篇文档在其他语言中的译文对于双语平行语料库的建立是一件很有意义的工作.本文提出一种改进的跨语言相似文档检索算法,该算法使用双语词典或统计翻译模型作为双语知识库,查找两篇文档的共同翻译词对,把翻译词对的权重作为一种特征来进行相似度计算,用Dice方法的改进算法计算双语文档的相似度.在实验中,统计检索文档的译文排在检索结果前 N位的总次数来评价算法的性能,并使用了两个噪音数据集来评价算法的有效性.实验表明,在噪音数据干扰比较大的情况下,译文排在检索结果前5位的译文结果接近90%.实验证明,翻译词对的权重对于相似度计算有很大帮助,本算法可以有效地发现一种语言书写的文档在另一种语言中的译稿.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	俞士汶	北京大学计算语言研究所	88	2372	23.0	47.0
2	肖诗斌	北京信息工程学院中文信息处理研究中心	25	475	8.0	21.0
3	施水才	北京信息工程学院中文信息处理研究中心	52	872	12.0	28.0
4	王洪俊	北京大学计算语言研究所	4	21	4.0	4.0