基于Spark SQL的海量数据实时分类查询算法的研究

• 作者: 胡晶
• 来源期刊: 黄河科技学院学报
• 关键词: Spark SQL 随机森林算法 遗传算法
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 信息工程研究
• 页码范围: 35-38
• 页数: 4页
• 分类号: TP311.13
• 语种: 中文
• DOI: 10.19576/j.issn.2096-790X.2021.05.007

摘要

Spark是高速计算引擎,在计算能力上优于MapReduce.Spark采用的是内存计算方式,而Spark SQL在基于Hive数仓数据的分布式计算上尤为广泛.重点研究Spark SQL在进行海量数据的分类查询时,对处理大数据计算的性能进行优化建议.大数据的分类、查询和大数据处理的两个重要方向,引入了改进的随机森林算法提高数据分类的准确性,优化遗传算法缩短了查询时间,在对海量大数据进行实时分类、查询的场景中具有指导意义.