一种基于Kettle的无损增量数据同步方法研究

• 作者: 赵亚伟
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 数据采集 增量同步 Kettle 教育大数据
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 软件理论与方法
• 页码范围: 55-58
• 页数: 4页
• 分类号: TP301
• 字数: 4441字
• 语种: 中文
• DOI: 10.11907/rjdk.191530

摘要

在学校各系统运行管理过程中,产生了大量宝贵的数据资源,这些数据对学校重要决策制定及传统教育模式改革有着极其重要的作用.因此,如何将不同维度的数据采集到统一的数据中心便成为大数据研究的重点之一.在数据采集过程中,很多学校没有保存重要的历史数据以及已删除记录的状态标记,将对数据分析中诸如时间切片分析、历史状态分析等产生致命影响.以学校人事系统为例,提出一种基于Kettle的无损增量数据同步方法.该方法利用全量数据比对方式,找出新增、修改和删除的数据,并对其进行详细记录,从而实现了对历史数据的完整保留,弥补了如时间切片分析等数据分析策略中数据不足的缺陷.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵亚伟	北京语言大学信息化办公室	3	2	1.0	1.0