Spark与MLlib：当机器学习遇见分布式系统

• 作者: 尹绪森
• 来源期刊: 程序员
• 学科: 工学
• 关键词: 机器学习算法 分布式系统 向量参数 批处理 RDD 计算 编程
• 年，卷（期）: 2014,（7）
• 页码范围: 112-115
• 页数: 4页
• 分类号: TP181

摘要

或许MateiN年只是想为Mesos这把“屠龙宝刀”的顺利测评造一条小龙出来，结果无心插柳，Spark已开始侵占Hadoop的地盘，在批处理、流计算、机器学习、图计算等领域发挥效力。本文将着重探索Spark）框架与MLlib的适配，以及MLlib中机器学习算法向量参数的模式与性能，即依托于RDD这种编程抽象，以向量为参数的机器学习算法应该怎样写才能获得最佳的处理能力。