混合词汇特征和LDA的语义相关度计算方法

• 作者: 李璞 肖宝 蒋运承
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 主题模型 词汇特征 显式语义分析(ESA) 隐含狄利克雷分布(LDA) 语义相关度计算
• 年，卷（期）: 2017,（12）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 152-157,165
• 页数: 7页
• 分类号: TP391
• 字数: 4597字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1606-0088

摘要

文本语义相关度计算在自然语言处理、语义信息检索等方面起着重要作用,以Wikipedia为知识库,基于词汇特征的ESA(Explicit Semantic Analysis)因简单有效的特点在这些领域中受到学术界的广泛关注和应用.然而其语义相关度计算因为有大量冗余概念的参与变成了一种高维度、低效率的计算方式,同时也忽略了文本所属主题因素对语义相关度计算的作用.引入LDA(Latent Dirichlet Allocation)主题模型,对ESA返回的相关度较高的概念转换为模型的主题概率向量,从而达到降低维度和提高效率的目的;将JSD距离(Jensen-Shannon Divergence)替换余弦距离的测量方法,使得文本语义相关度计算更加合理和有效.最后对不同层次的数据集进行算法的测试评估,结果表明混合词汇特征和主题模型的语义相关度计算方法的皮尔逊相关系数比ESA和LDA分别高出3%和9%以上.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蒋运承	华南师范大学计算机学院	22	57	5.0	5.0
2	肖宝	钦州学院电子与信息工程学院	11	42	4.0	6.0
3	李璞	华南师范大学计算机学院	15	33	3.0	4.0