面向大规模数据主题建模的方差减小的随机变分推理算法

• 作者: 刘张虎 程春玲
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 随机变分推理 滑动窗口 随机梯度 方差减小 主题建模
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 先进计算
• 页码范围: 1675-1681
• 页数: 7页
• 分类号: TP301.6|TP391.1
• 字数: 9696字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2017112786

摘要

随机变分推理(SVI)已被成功应用于在包括主题模型在内的众多类型的模型.虽然它将推理问题映射到涉及随机梯度的优化问题,使其扩展到处理大规模数据集,但是SVI算法中随机梯度固有的噪声使其产生较大的方差,阻碍了快速收敛.为此,对SVI作出改进,提出一种方差减小的SVI (VR-SVI)算法.首先,采取滑动窗口的方法重新计算随机梯度中的噪声项,构建新的随机梯度,减少了噪声对随机梯度的影响;然后,对提出的算法可在SVI基础上使得随机梯度的方差减小进行证明;最后,讨论窗口大小对算法的影响,并分析算法的收敛性.实验结果表明,VR-SVI算法既减小了随机梯度的方差,又节省了计算时间,可达到快速收敛的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程春玲	南京邮电大学计算机学院	54	368	11.0	16.0
2	刘张虎	南京邮电大学计算机学院	1	1	1.0	1.0