基于Hadoop Streaming的Last比对软件并行化的研究与实现

• 作者: 景维鹏 李文浩 董本志
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: hadoop streaming 软件并行化 last比对软件
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 工程与应用
• 页码范围: 226-230
• 页数: 5页
• 分类号: TP311.52
• 字数: 3667字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1307-0161

摘要

随着下一代测序技术的到来，单机版Last比对软件已经不能满足海量数据的处理需求。使用Hadoop Streaming技术将Last比对软件快速部署到云计算环境中，解决当前单机版Last比对软件处理大数据能力差的问题。通过自定义的基于NFS 文件系统的数据集切分方法和基于Partitioner的任务分配方式能够实现均衡高效的数据切分，并保证并行化粒度可控。实验结果表明，在保证与单机运行结果一致的情况下，这种方法能有效缩减软件运行时间，具有较高的加速比。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	董本志	东北林业大学信息与计算机工程学院	51	246	7.0	13.0
2	景维鹏	东北林业大学信息与计算机工程学院	37	217	8.0	12.0
3	李文浩	东北林业大学信息与计算机工程学院	1	4	1.0	1.0