基于多层次分辨率递进生成对抗网络的文本生成图像方法

• 作者: 何小海 卿粼波 张津 许一宁
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 文本生成图像 生成对抗网络 自注意力机制 残差结构 像素混洗
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 虚拟现实与多媒体计算
• 页码范围: 3612-3617
• 页数: 6页
• 分类号: TP391.41
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2020040575

摘要

针对文本生成图像任务存在生成图像有目标结构不合理、图像纹理不清晰等问题,在注意力生成对抗网络(AttnGAN)的基础上提出了多层次分辨率递进生成对抗网络(MPRGAN)模型.首先,在低分辨率层采用语义分离-融合生成模块,将文本特征在自注意力机制引导下分离为3个特征向量,并用这些特征向量分别生成特征图谱;然后,将特征图谱融合为低分辨率图谱,并采用mask图像作为语义约束以提高低分辨率生成器的稳定性;最后,在高分辨率层采用分辨率递进残差结构,同时结合词注意力机制和像素混洗来进一步改善生成图像的质量.实验结果表明,在数据集CUB-200-2011和Oxford-102上,所提模型的IS分别达到了4.70和3.53,与AttnGAN相比分别提高了7.80％和3.82％.MPRGAN模型能够在一定程度上解决结构生成不稳定的问题,同时其生成的图像也更接近真实图像.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	何小海		395	2334	21.0	30.0
2	卿粼波		181	565	11.0	15.0
3	许一宁		1	0	0.0	0.0
4	张津		1	0	0.0	0.0