基于Hadoop的中医药数据管理策略研究

• 作者: 丁长松 于俊洋 梁杨
• 来源期刊: 中国中医药信息杂志
• 学科: 医学
• 关键词: 中医药数据 Hadoop 分层管理 MapReduce 分布式
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 中医药信息学
• 页码范围: 96-100
• 页数: 5页
• 分类号: R2-03
• 字数: 4534字
• 语种: 中文
• DOI: 10.3969/j.issn.1005-5304.2018.05.021

摘要

目的 为解决传统方法采集、存储和处理海量中医药数据的低效问题,探索数据管理的新策略.方法 根据中医药数据的典型特征,设计基于Hadoop的分层管理架构,对串行数据挖掘算法进行MapReduce 化改进;部署单节点服务器和分布式集群,采用8组不同规模的数据集,进行数据采集实验和串并行算法实验.结果 数据传输时间在非分布式环境下通常超过3000 s,增幅较大,而在分布式集群下一般不超过300 s,增幅平缓;当数据规模超过一定范围后,与伪分布式和完全分布式下的并行算法比较,非分布式下串行算法的运行耗时急剧增加.结论 与传统单节点系统相比,基于Hadoop的中医药数据管理平台采集、存储及处理海量数据的效率明显提高,尤其适用于大规模非结构化或半结构化的中医药数据.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于俊洋	河南大学软件学院	25	53	5.0	5.0
2	梁杨	湖南中医药大学信息科学与工程学院	9	23	3.0	4.0
4	丁长松	湖南中医药大学信息科学与工程学院	35	78	4.0	7.0