DNN并行计算框架

• 作者: 王尔玉 邹永强
• 来源期刊: 程序员
• 学科: 工学
• 关键词: DNN 并行化 计算框架 NETWORKS 时间相关性 训练方法 参数估计 神经网络
• 年，卷（期）: 2013,（6）
• 页码范围: 37-39
• 页数: 3页
• 分类号: TP301.6

摘要

深层神经网络（Deep Neural Networks，DNN）在语音识别、图像识别这种具有明显空间时间相关性的模式识别应用中。具有明显的优势。鉴于DNN模型待估计参数的数目和参数估计的特点，以及现有海量数据训练的需求，单机训练DNN模型，往往需要一至多个月的时间，不能满足实际的各种应用需求。因此本文主要介绍一些现有的并行训练方法，以及腾讯公司关于并行化的一些尝试和思考。