基于Spark平台的海量AIS数据k-means算法聚类分析

• 作者: 初秀民 林宏 王志远
• 来源期刊: 交通科技
• 关键词: AIS Spark Hadoop k-means聚类
• 年，卷（期）: 2021,（3）
• 所属期刊栏目: 船舶工程
• 页码范围: 138-141
• 页数: 4页
• 分类号: U675.8
• 语种: 中文
• DOI: 10.3963/j.issn.1671-7570.2021.03.031

摘要

随着船舶数量不断增加,A IS数据的数量持续增长,与此同时数据复杂和处理难度大等缺陷也日渐突出.为了分析大量的AIS数据并充分挖掘有效信息,文中构建了一个基于Spark、Hadoop和Mesos的AIS数据处理和分析平台,使用k-means算法对船舶数据进行聚类分析,获得更清晰的船舶航迹信息,并比较有、无安装Spark程序的计算机进行聚类分析时所需的时间.从实验结果看出,与非大数据平台相比,Spark集群中AIS船舶数据点的聚类分析速度大大提高.