Hive和Kafka在数据稽核和同步中的应用

• 作者: 曹建华 徐晨敏 郭昱含
• 来源期刊: 中国新通信
• 关键词: Hadoop Hive Sqoop Kafka
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 互联网+应用|Internet Application
• 页码范围: 95-97
• 页数: 3页
• 语种: 中文
• DOI: 10.3969/j.issn.1673-4866.2021.06.047

摘要

中国电信自主测评管理平台使用了Hadoop数据仓库工具Hive对基础数据进行合规性稽核,稽核后的数据通过Sqoop工具同步至Oracle关系数据库.针对多批次百万级数据量并行同步会导致Oracle负载过大影响正常OLTP的情况,通过应用Kafka消息队列,将Hive与Oracle之间的数据并行同步改为异步模式下可按需设置串行/并行同步,问题得到有效解决.