资源贫乏型语言间文本相似度计算方法

• 作者: 刘一丁 刘功申 尹晓阳 陈晓琳
• 来源期刊: 指挥信息系统与技术
• 学科: 工学
• 关键词: 资源贫乏型语言 文本相似度 双语向量空间映射 多级框架
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 理论与探索
• 页码范围: 27-32
• 页数: 6页
• 分类号: TP391
• 字数: 6555字
• 语种: 中文
• DOI: 10.15908/j.cnki.cist.2019.04.005

摘要

文本相似度计算是自然语言处理领域的研究热点和难点.自2013年"一带一路"倡议提出以来,我国急需小语种国家和地区的商业情报信息.选取中文和藏文进行比较,并采用基于多级双语向量空间映射技术的文本相似度算法计算藏汉文本相似度.首先,对文本进行预处理,并对中文文本和藏文文本进行分词;然后,利用多级双语向量空间映射框架,将藏文词向量和中文词向量映射到同一抽象的语义空间下,词间相似度则由映射后的词向量计算得出;最后,计算得出基于词间相似度的文本相似度.利用已训练完毕的汉藏词向量得到最佳多级框架,再选择6个类别的中文和藏文新闻作为试验数据,配以映射后的汉藏词向量计算汉藏文本相似度.试验结果表明,该方法可通过相似度结果有效区分同类别和异类别新闻.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘功申	上海交通大学电子信息与电气工程学院	97	848	14.0	25.0
2	刘一丁	上海交通大学电子信息与电气工程学院	1	3	1.0	1.0
3	陈晓琳	中国电子科技集团公司第二十八研究所	2	3	1.0	1.0
4	尹晓阳	中国电子科技集团公司第二十八研究所	1	3	1.0	1.0