基于HBase的多分类逻辑回归算法研究

• 作者: 刘黎志 吴云韬 邓介一
• 来源期刊: 计算机应用研究
• 关键词: 块批量梯度下降 多分类 逻辑回归 大数据 HBase
• 年，卷（期）: 2018,（10）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 3007-3010
• 页数: 4页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2018.10.029

摘要

为解决在大数据环境下,用于训练多分类逻辑回归模型的数据集可能会超过执行计算的客户端内存的问题,提出了块批量梯度下降算法,用于计算回归模型的系数.将训练数据集存入HBase后,通过设置表扫描对象的起始行键参数,可取出大小合适的含训练样本及结果值的数据块;同时为避免客户端到服务端频繁的RPC调用,取出的数据块可进行多次迭代计算,以加快系数的收敛.当取出的数据块达到指定的迭代次数后,再按行键次序取出下一个数据块.如此循环,直到系数收敛或达到指定的循环控制阈值.多分类的逻辑回归问题可转换为二分类来解决,因此需要为每一个分类在训练数据表中设定结果值列,结合训练样本列簇,按块批量梯度下降算法得到每个分类的回归系数.实验结果表明得到的回归系数能准确地对测试样本进行分类.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴云韬	武汉工程大学智能机器人湖北省重点实验室	17	102	5.0	9.0
5	刘黎志	武汉工程大学智能机器人湖北省重点实验室	26	78	4.0	8.0
9	邓介一	武汉工程大学智能机器人湖北省重点实验室	3	7	2.0	2.0