面向多数据中心跨节点环境的公安大数据分析方法

• 作者: 杨杰 邓旭冉 翟春婕
• 来源期刊: 中国人民公安大学学报（自然科学版）
• 学科: 政治法律
• 关键词: 数据分析 跨节点 分布式 增量
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 网络技术与信息安全
• 页码范围: 68-73
• 页数: 6页
• 分类号: D631
• 语种: 中文

摘要

随着公安大数据应用的不断深入,受技术限制、政策制约公安数据资源无法向统一的数据中心物理汇聚已是客观事实,传统基于单一数据中心的公安大数据分析方法正逐步失效.针对上述问题,提出一种面向多数据中心跨节点环境的分布式分析技术框架,并据此实现了常见公安大数据分析应用的跨节点分布式并行增量计算,既避免了数据的跨数据中心传输汇聚和多节点多副本存储,又避免了存量大数据的重复计算,极大提高了分析计算的效率和结果的准确度,也为跨节点分布式存储条件下开展公安大数据分析应用,提供了较为可行的思路和方法.