基于Spark的序列数据质量评价

• 作者: 唐常杰 段磊 王慧锋 邓松 韩超
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 数据质量 概率后缀树 Spark 并行计算
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: 数据库技术
• 页码范围: 897-907
• 页数: 11页
• 分类号: TP391
• 字数: 8683字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1609008

摘要

随着序列数据在实际中的广泛应用,序列数据质量评价成为学术、工业等众多领域的热门研究问题.目前主流的序列数据质量评价方法是基于概率后缀树模型进行数据质量评价,然而这种方法难以实现对大规模数据的处理.为解决此问题,提出了基于Spark的序列数据质量评价算法STALK(sequential data quality evaluation with Spark),并且采用了改进的剪枝策略来提高算法效率.具体地,在Spark平台下,利用大规模序列数据高效建立生成模型,并根据生成模型对查询序列的数据质量进行快速评价.最后通过真实序列数据集验证了STALK算法的有效性、执行效率和可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	唐常杰	四川大学计算机学院	164	2750	30.0	45.0
2	邓松	南京邮电大学先进技术研究院	23	180	7.0	12.0
3	段磊	四川大学计算机学院	49	685	13.0	24.0
7	韩超	四川大学计算机学院	7	5	2.0	2.0
8	王慧锋	四川大学计算机学院	3	20	2.0	3.0