结合互信息最大化的文本到图像生成方法

• 作者: 徐凯亮 林乐平 欧阳宁 莫建文
• 来源期刊: 西安电子科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 图像生成 互信息 生成对抗网络 局部位置特征向量
• 年，卷（期）: 2019,（5）
• 页码范围: 180-188
• 页数: 9页
• 分类号: TP183
• 字数: 5843字
• 语种: 中文
• DOI: 10.19665/j.issn1001-2400.2019.05.025

摘要

在堆叠式文本到图像生成模型的基础上,针对其生成样本分布不均匀导致多样性不足的问题,提出了一种结合局部-全局互信息最大化的堆叠式文本到图像的生成对抗网络模型.首先利用生成模型将全局向量解耦得到不同尺度特征图;然后通过最大化特征图与全局向量间的互信息,对图像全局特征与文本描述的相关性进行增强;最后,将特征图提取为局部位置特征向量,通过最大化局部位置特征向量与全局向量之间的平均互信息,加强局部位置特征与文本描述的相关性,得到更紧密的文本到图像的映射关系.在CUB数据集上的实验验证了该方法能有效地提高生成样本的多样性,同时在主观评价上能生成语义精确度更高的样本,更接近自然图像.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	欧阳宁	桂林电子科技大学信息与通信学院	86	577	14.0	20.0
2	莫建文	桂林电子科技大学信息与通信学院	73	664	13.0	22.0
3	林乐平	桂林电子科技大学信息与通信学院	10	8	2.0	2.0
4	徐凯亮	桂林电子科技大学信息与通信学院	2	0	0.0	0.0