Spark平台下类别数据互信息计算的并行化

• 作者: 李俊丽
• 来源期刊: 计算机工程与应用
• 关键词: 列变换 并行互信息计算 分类数据 Spark平台
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 大数据与云计算|Big Data and Cloud Computing
• 页码范围: 95-100
• 页数: 6页
• 分类号: TP311
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2003-0432

摘要

针对大规模类别数据的互信息计算量非常大的问题,利用Spark内存计算平台,提出了类别数据的并行互信息计算方法,该算法首先采用列变换将数据集转换成多个数据子集;然后采用两个变长数组缓存中间结果,解决了类别数据特征对间互信息计算量大、重复性强的问题;最后在配备了24个计算节点的Spark集群中,使用人工合成和真实数据集验证了算法.实验结果表明,该算法在效率、可伸缩性和可扩展性等方面都达到了较高的性能.