基于向量空间模型的中文文本相似度的研究

• 作者: 牛永洁 薛苏琴
• 来源期刊: 电子设计工程
• 学科: 工学
• 关键词: 文本相似度 向量空间模型 分词 信息处理 C#
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 计算机技术与应用
• 页码范围: 28-31
• 页数: 4页
• 分类号: TP391.1
• 字数: 4938字
• 语种: 中文

摘要

在文本聚类中需要衡量中文文本之间的相似性.本文首先讨论了文本相似度的概念和常用计算算法,详细介绍了向量空间模型和算法步骤,采用删除去除词表、近义词合并、修改文件长度3中策略对算法进行了改进.最后借助盘古分词组件和搜狗实验室的互联网词库,在Visual Studio 2008环境下使用C#语言对算法进行了实现.使用在CNKI上得到的5个不同领域的500篇学术论文的中文摘要对算法进行了测试,结果表明新算法在误差率方面有较大改善,但运行时问较长.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	薛苏琴	延安大学数学与计算机学院	28	112	6.0	9.0
2	牛永洁	延安大学数学与计算机学院	50	329	9.0	15.0