基于双语LDA的跨语言文本相似度计算方法研究

• 作者: 余正涛 周兰江 王红斌 程蔚 线岩团
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 双语LDA 跨语言文本相似度 余弦相似度 主题频率-逆文档频率
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 人工智能与数据挖掘
• 页码范围: 978-983
• 页数: 6页
• 分类号: TP391
• 字数: 4989字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2017.05.024

摘要

基于双语主题模型思想分析双语文本相似性,提出基于双语LDA跨语言文本相似度计算方法.先利用双语平行语料集训练双语LDA模型,再利用该模型预测新语料集主题分布,将新语料集的双语文档映射到同一个主题向量空间,结合主题分布使用余弦相似度方法计算新语料集双语文档的相似度,使用从类别间和类别内的主题分布离散度的角度改进的主题频率-逆文档频率方法计算特征主题权重.实验表明,改进后的权重计算对于基于双语LDA相似度算法的召回率有较大提高,算法对类别不受限且有较好的可靠性.