基于CNN-RNN深度学习的图片描述方法与优化

• 作者: 张杰 李瑶 罗福强 赵力衡 陈虹君
• 来源期刊: 湘潭大学自然科学学报
• 学科: 数学
• 关键词: 神经网络 CNN RNN MIL LSTM DRN
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 物理与光电信息工程
• 页码范围: 67-70
• 页数: 4页
• 分类号: O152.1
• 字数: 2725字
• 语种: 中文

摘要

为了提高模型的泛化能力,将机器翻译的编-解码模型引入图片描述中.首先,提出了CNN-RNN模型:CNN负责编码,RNN负责解码,RNN模型采用LSTM网络.接着,考虑到该模型一定程度上忽略了图片的局部区域特征和图片语义信息,因此又提出改进的CNN-MIL-DRN模型.该模型考虑了属性概率向量,并将多个时刻状态堆叠在一个时刻的计算中,加深了非线性变换的复杂深度.最后,采用MSCOCO C5进行模型测试,以AP及5个不用的阈值测试不同指标,同时选取一些目前较新的模型作对比,从而得到CNN-MIL-DRN模型的最优效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张杰	四川大学图像研究所	323	2082	23.0	34.0
2	李瑶	四川大学锦城学院电子信息学院	32	54	4.0	5.0
3	陈虹君	四川大学锦城学院电子信息学院	12	10	2.0	2.0
4	赵力衡	四川大学锦城学院电子信息学院	13	12	3.0	3.0
5	罗福强	四川大学锦城学院电子信息学院	14	61	4.0	7.0