结合语义和结构的短文本相似度计算

• 作者: 倪高伟 刘峥 李涛
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: EMD Word2Vec 短文本相似度计算 语义相似度 词序结构
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 104-108,113
• 页数: 6页
• 分类号: TP181
• 字数: 3631字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2018.08.022

摘要

短文本相似度不仅包括语义相似度,还包括语法相似度.目前在短文本相似度度量算法中,大多只分析短文本语义层次的相似性,往往忽略了短文本的语法结构对短文本相似度的重要影响,导致无法捕获大量的文本语义信息,同时在短文本分类任务中召回率不够理想.通过分析短文本的特征,将EMD(earth mover's distance)求解线性规划中运输问题的最优解应用于度量两个短文本的相似度,用Word2Vec度量两个单词的语义相似性,提出了词序位置相似度的概念,即在计算短文本相似度的同时考虑语句词组顺序对相似度的贡献.实验结果表明,在捕获大量文本语义信息的基础上,将算法应用于k近邻(k-nearest neighbor,KNN)文本分类中,有较好的准确率和召回率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李涛	南京邮电大学计算机学院	35	164	6.0	11.0
2	刘峥	南京邮电大学计算机学院	8	24	3.0	4.0
3	倪高伟	南京邮电大学计算机学院	1	6	1.0	1.0