基于N-Gram和动态滑动窗口的改进余弦相似度算法研究

• 作者: 叶文韬 吴艳 张洪 柴源 谭锦涛 钟凯迪 魏济
• 来源期刊: 成都大学学报（自然科学版）
• 关键词: 余弦相似度算法 N-Gram算法 数据清洗 动态滑动窗口
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 信息科学与工程
• 页码范围: 163-166
• 页数: 4页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1004-5422.2019.02.011

摘要

为了解决余弦相似度算法进行数据清洗时重复与相似的数据会使计算量呈几何级增长的问题,提出了基于N-Gram和动态滑动窗口的改进余弦相似度算法.首先通过计算每条数据的N-Gram值,并对数据进行相似度排序,然后定义初始滑动窗口,其窗口值根据N-Gram值的方差动态调整,最后在每个窗口中根据相似度与阀值判断相似数据.实验结果表明,改进的余弦相似度算法在运行速度上有大幅度提高,数据清洗准确率也得到提升,且该算法适用于海量数据的情形.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张洪	成都大学信息科学与工程学院	32	70	5.0	7.0
5	钟凯迪	成都大学信息科学与工程学院	1	3	1.0	1.0
6	柴源	成都大学信息科学与工程学院	1	3	1.0	1.0
7	魏济	成都大学信息科学与工程学院	1	3	1.0	1.0
8	吴艳	成都大学信息科学与工程学院	2	3	1.0	1.0
9	谭锦涛	成都大学信息科学与工程学院	1	3	1.0	1.0