基于文本加权词共现的跨语言文本相似度分析

• 作者: 吴林 张晓宇 王永滨
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 词共现 文本相似度 跨语言 统计翻译模型
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 人工智能
• 页码范围: 92-95
• 页数: 4页
• 分类号: TP301
• 字数: 3841字
• 语种: 中文
• DOI: 10.11907/rjdk.191233

摘要

跨语言文本相似度计算在跨语言信息检索、数据挖掘、抄袭检测等领域有着重要应用,但是跨语言文本相似度计算因为不同语言文法、结构等问题,在空间映射、特征选择上与单语言文本相似度计算有很大差异.为解决上述问题,采用一种基于文本加权词共现关系的跨语言文本相似度计算方法,通过平行语料库构建跨语言词共现关系模型,使用该模型进行跨语言文本映射,对不同语言的文本进行相似度计算.该模型实际反映了某种语言中某些关键词共同出现时映射成另一种语言时的关键词概率分布.实验表明,该方法对跨语言文本排序的计算更接近人工评判标准.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王永滨	中国传媒大学智能融媒体教育部重点实验室	54	361	8.0	18.0
2	吴林	中国传媒大学智能融媒体教育部重点实验室	4	6	1.0	2.0
3	张晓宇	中国传媒大学智能融媒体教育部重点实验室	2	0	0.0	0.0