面向云平台的二代测序数据近似去重方法研究

• 作者: 赵晓永 陈晨
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 高通量测序 重复数据删除 近似去重 布谷过滤器
• 年，卷（期）: 2017,（23）
• 所属期刊栏目: 热点与综述
• 页码范围: 1-5
• 页数: 5页
• 分类号: TP311
• 字数: 4438字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1706-0449

摘要

新一代测序因其数据量大、数据处理过程复杂、对计算资源要求高等特点,需要通过云计算进行处理.然而,云计算的处理方式要求先将测序数据上传到云平台中.但由于测序过程的随机性,使得同一样本的两次测序、两个相似样本分别测序后所产生的文件在二进制层面会有较大差别.目前已有的去重方法无法有效识别出这样的"重复"测序文件和测序结果中的"重复"内容.重复上传和存储这些重复数据,不仅消耗网络带宽,而且浪费存储空间.针对现存的重复数据删除方法仅仅基于文件的二进制特征,并未有效利用测序结果数据相似性特点的问题,提出一种面向云平台的海量高通量测序数据近似去重方法NPD(Near Probability Deduplication).该方法对FastQ中的序列和质量信息,使用SimHash计算分块指纹,采用客户端与云平台双布谷过滤器(Cukoo Filter)对指纹值进行快速存在性检测,最后由云平台使用近似算法对指纹值近似去重.实验结果表明,NPD方法在保证高效的同时,大幅提升了去重率,进而减少了网络流量,缩短了数据上传时间,能够支撑海量数据处理,具有良好的实用价值.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈晨	首都医科大学附属北京地坛医院传染病研究所	56	294	10.0	15.0
2	赵晓永	北京信息科技大学信息管理学院	18	14	2.0	3.0