基于Spring Batch数据迁移处理系统的设计与实现

• 作者: 李珏 金石声
• 来源期刊: 中国新通信
• 关键词: Spring Batch 数据迁移 数据分区 多线程
• 年，卷（期）: 2016,（20）
• 所属期刊栏目: 互联网+技术 Internet Technology
• 页码范围: 54-55
• 页数: 2页
• 字数: 842字
• 语种: 中文

摘要

本省自动气象观测系统根据观测要素的不同分为单雨量系统、两要素系统和六要素系统。三类观测系统分别接收各自站点采集的报文进行解码入库，同时通过FTP将数据报文发送到综合处理系统再次进行解码入库。这样的处理流程不仅增加网络负担，还进行了重复的解码工作，资源利用率低。为此本文采用基于Spring Batch的框架，定时对三个不同观测系统的后台数据库的实时数据向综合处理系统的数据库进行迁移。该流程采用数据分区技术，多线程并行处理，在减少了对网络带宽的占用量的同时，降低了各个系统CPU使用量，提高了工作效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	金石声		12	13	2.0	2.0
2	李珏		21	11	2.0	2.0