基于语义的短文本消重算法研究

• 作者: 张翔 蒋旦
• 来源期刊: 网络新媒体技术
• 关键词: 文本消重 倒排索引 语义相似度 词向量
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 多媒体技术
• 页码范围: 45-51
• 页数: 7页
• 字数: 5763字
• 语种: 中文

摘要

传统的文本消重技术局限于消除字面完全相同或者高度相似的信息,无法满足特定领域,比如新闻消重的要求.为了去除“话题重复”的新闻报导,提出一种两层短文本消重技术,在字面消重层的基础上,添加语义消重层,结合多个词向量空间模型捕获文本语义特征,试图检测属于同一话题的重复新闻.实验表明,本算法较单纯的基于字面的文本消重算法,在保证不降低检测准确率的条件下,能较大提高检测召回率.其应用于“科技视界”新闻服务系统中,取得良好效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张翔	中国科学技术大学信息科学技术学院	73	341	11.0	14.0
2	蒋旦	中国科学技术大学信息科学技术学院	4	4	1.0	2.0