基于可变时间窗口的增量数据抽取模型

• 作者: 刘杰 左小将 王桂玲
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 变化数据的捕获 增量抽取 时间戳 ETL
• 年，卷（期）: 2018,（11）
• 所属期刊栏目: 软件与数据库技术
• 页码范围: 204-209,230
• 页数: 7页
• 分类号: TP311
• 字数: 6983字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2018.11.032

摘要

基于合适的数据抽取模型持续不断地将变化的数据从各个数据源系统进行抽取集成,是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键.传统的时间戳变化数据捕获方式存在因数据抽取过程中发生异常而导致数据抽取失效,进而影响数据抽取效率的问题.鉴于此,文中借鉴时间窗口的思想,采用先抽取少量重复记录再去重的做法,对传统的时间戳增量数据捕获模型进行了改进,提出了基于可变时间窗口的增量数据抽取模型.该模型减少了异常对数据抽取的影响,增强了时间戳增量数据抽取ETL流程的可靠性,在一定程度上提高了数据的抽取效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘杰	北方工业大学计算机学院	7	10	2.0	3.0
2	王桂玲		1	3	1.0	1.0
3	左小将	北方工业大学计算机学院	1	3	1.0	1.0