利用自然语言文本描述进行图像编辑

• 作者: 周作为 钱真真
• 来源期刊: 电子技术与软件工程
• 学科: 工学
• 关键词: 生成对抗网络 多模态 图像编辑
• 年，卷（期）: 2020,（1）
• 页码范围: 119-121
• 页数: 3页
• 分类号: TP3

摘要

本文研究了利用自然语言文本描述对图像进行编辑的多模态问题。本文的目标是,输入一张原始图像以及一句自然语言文本描述,输出一张经过编辑的图像,并且图像在满足给定自然语言文本描述的同时,保留与文本描述无关的其他细节。在本文中,整体网络采用生成对抗网络结构。在生成器部分,通过引入重构损失,实现模型对于文本描述无关图像区域的保持。通过引入文本图像相关度损失,以一种半监督的方式,对生成器的训练进行指导,从而实现更精细化的利用文本描述对图像进行编辑。在判别器部分,结合判别损失以及条件判别损失,指导生成器生成更具真实效果以及符合自然语言文本描述的图像。通过生成器和判别器的对抗训练,最终实现利用自然语言文本描述实现精准编辑图像。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钱真真	北京交通大学计算机与信息技术学院、交通数据分析与挖掘北京市重点实验室	2	0	0.0	0.0
2	周作为	北京交通大学计算机与信息技术学院、交通数据分析与挖掘北京市重点实验室	1	0	0.0	0.0