基于Parameter Server框架的大数据挖掘优化算法

• 作者: 刘博 刘洋 王峰
• 来源期刊: 山东大学学报（工学版）
• 学科: 工学
• 关键词: 大数据 分布式系统 机器学习 样本差异性 优化算法
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 机器学习与数据挖掘
• 页码范围: 1-6
• 页数: 6页
• 分类号: TU457
• 字数: 4324字
• 语种: 中文
• DOI: 10.6040/j.issn.1672-3961.0.2016.339

摘要

基于大数据挖掘的实时性要求和数据样本的多样性特征,提出一种面向大数据挖掘的机器学习模型训练优化算法.分析当前算法的迭代计算过程,根据模型向量的改变量将迭代过程分为粗调和微调两个阶段,并发现在微调阶段绝大部分样本对计算结果的影响极小,因此可以在微调阶段不计算此类样本的梯度而直接采用上次迭代的计算结果,从而减小计算量,提升计算效率.试验结果表明,算法在分布式集群环境下可以减小模型训练约35％的计算量,且训练得到的模型准确度在正常范围内,可有效提高大数据挖掘的实时性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王峰	河南财经政法大学云计算与大数据研究所	24	43	4.0	6.0
2	刘洋	河南财经政法大学云计算与大数据研究所	25	42	3.0	5.0
3	刘博	华中科技大学计算机学院	21	111	6.0	10.0