MapReduce并行加速数据流多模式相似性搜索

• 作者: 付晨 叶波 钟诚
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 时间序列 数据流 动态时间弯曲距离 模式搜索 Hadoop
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 2016年全国开放式分布与并行计算学术年会(DPCS2016)论
• 页码范围: 37-41,53
• 页数: 6页
• 分类号: TP338.6|TP301.6
• 字数: 7164字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2017.01.0037

摘要

设计时间序列数据在Hadoop分布式文件系统(HDFS)中的有效存储方式,利用分布式缓存工具Distributed Cache将各子序列分发到Hadoop集群的计算节点上,将动态时间弯曲距离矩阵划分成多个子矩阵,采取并行迭代计算每条反对角线上子矩阵的方法,基于MapReduce编程模型,实现高效并行计算时间序列动态弯曲距离,通过改进剪裁冗余计算方法,设计实现一种数据流多模式相似性搜索并行算法.中国雪深长时间序列数据集的实验结果表明,当每条时间序列的长度达到5000以上时,并行计算动态弯曲距离所需时间少于串行计算所需时间,当每条时间序列的长度达到9000以上时,参与计算的集群节点越多,并行计算所需时间越少;当模式长度达到4000、参与计算的集群节点数达5个以上时,从数据流中并行搜索出与模式匹配的相似子序列所需时间约为串行搜索所需时间的20％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钟诚	广西大学计算机与电子信息学院	195	1023	14.0	21.0
2	叶波		14	70	5.0	8.0
3	付晨	广西大学计算机与电子信息学院	1	5	1.0	1.0