改进条件生成对抗网络的文本生成图像方法

• 作者: 侯丽君 倪建成 张素素
• 来源期刊: 曲阜师范大学学报（自然科学版）
• 学科: 工学
• 关键词: 生成对抗网络 残差网络 文本生成图像 条件融合
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 计算机科学|Computer Science
• 页码范围: 63-70
• 页数: 8页
• 分类号: TP391.4
• 语种: 中文
• DOI: 10.3969/j.issn.1001-5337.2022.2.063

摘要

该文提出了一种改进条件生成对抗网络的文本生成图像模型(TxtGAN),使用一对生成器和判别器的单阶段生成方式生成高分辨率图像,避免因训练多个GAN消耗大量计算资源.生成器网络由一系列生成模块(RUPBlock)组成,每个模块中应用条件批量归一化方法,在实现图像生成的同时充分融合了文本信息与图像特征,较好地保留了文本信息.另外,将文本词信息引入判别器中,得到的对抗性损失作为"信号"引导生成器高效训练.在CUB鸟类数据集和COCO数据集上的实验结果表明,TxtGAN模型优于基线方法,同样可以生成较为真实的高分辨率的图像,并且较好地解决了多阶段训练的缺陷.