基于Spark Streaming的在线KMeans聚类模型研究

• 作者: 侯敬儒 吴晟 李英娜
• 来源期刊: 计算机与数字工程
• 学科: 数学
• 关键词: MapReduce SparkStreaming 在线计算 低延迟
• 年，卷（期）: 2018,（4）
• 所属期刊栏目: 信息处理与网络安全
• 页码范围: 783-787
• 页数: 5页
• 分类号: O141.4
• 字数: 2880字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2018.04.031

摘要

针对基于MapReduce框架处理海量数据实时响应能力较差的问题,设计并实现了基于Spark Streaming的在线计算模型进行大规模的KMeans聚类分析.该模型将整个过程分为数据接入、在线训练等模块,各模块通过数据流连通形成任务实体,提交到Spark分布式集群运行完成.通过比对分析实验和性能检测,验证了该在线KMeans聚类模型具有高吞吐、低延迟的优势,且集群运行状况良好.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴晟	昆明理工大学信息工程与自动化学院	87	334	10.0	15.0
2	李英娜	昆明理工大学信息工程与自动化学院	148	412	10.0	12.0
3	侯敬儒	昆明理工大学信息工程与自动化学院	3	10	2.0	3.0