把人骑马变成人牵着马,这篇CVPR2020论文实现语义级别图像修改
图像修改是图像生成领域的一个特殊任务,它要求生成对原图进行修改后得到的图片。例如常用的美颜、修图软件,可以得到原照调整后的美颜人像。目前,绝大多数的图片操纵和生成都是在像素级别进行的。随着技术的进步,基于语义的图像修改和生成成为可能。 一篇 CVPR2020 的论文 Semantic Image Manipulation Using Scene Graphs 就聚焦图片语义级别修改问题,实现针对场景图的修改图片生成问题。即给定一张图片,先生成一个表示图片中出现的对象及其关系的语义场景图,用户可以利用场景图方便地修改其中的节点(对象)和边(关系),模型再根据这些修改后的场景图和原图生成修改后的图片,如图一所示。 这需要模型对原图中的对象进行替换或者改变原图中对象之间的关系,但还要保持生成的图片和原图中语义关系以及风格一致。 图丨基于语义关系的图片修改。基于原图(source image),模型首先生成场景图,接下来用户对场景图进行修改,最后模型根据修改的场景图生成新的图片。图中用户将女孩和马的关系由 “骑” 变为“在旁边”(来源:Semantic Image Manipulation Using Scene Graphs) 高层级的图片修改是以语义为中心的,这项技术有广泛的应用场景。 编辑旅行风景照时,不需要再手动切割、删除其中多余的旅客