cyclegan

目录 GAN CGAN pix2pix CycleGAN pix2pixHD StarGAN PaddlePaddle: 百度顶会论文复现营 . GAN GAN，即生成对抗网络，其网络结构主要包含一个生成器G和一个判别器D。首先，一个n维噪声输入到模型中，由生成器生成一个fake图像（根据目标而定），接着传入真实图像，resize成与fake图像相同大小，共同输入到判别器D中，送入训练网络中，训练趋势是使生成器生成越来越逼真，可以“以假乱真”的假图像，而判别器的精度也不断提升，最后，判别器D无法区分生成器G生辰的fake图像，得到的真假图像概率为0.5，达到理想状态。经过这样的一种“抗衡”生成器G的图像生成能力越来越强，整个网络的目的也就达到了。 CGAN CGAN（条件生成对抗网络）主要针对GAN的随机性问题，在生成器和判别器中都加入了一个标签作为输入，从它的损失函数中可以看出，D和G的概率表达都变成了条件概率，这样，对于不同的标签y，就有不同的函数表达，从而可以完成特定的任务。 pix2pix Pix2pix主要的核心思想是“对应关系”，以草图代替噪声作为输入，由生成器生成一个图片，再将草图和G生成的图片共同作为D的输入，这样就可以把草图变成相应的图片了。 这里附上一个有趣的小链接：https://affinelayer.com/pixsrv/，可以把自己绘制的草图转化成猫咪。

当你自己与其他人的图像高度匹配时，人脸识别系统还能发挥其作用吗？网络安全公司McAfee生成的对抗性伪图像就骗过了人脸识别系统。 选自 http:// mcafee.com ，作者：Steve Povolny、Jesse Chick，机器之心编译，编辑：杜伟。 在进入正文之前，我们先想象一个场景：如果对象 A（正文中的 Jesse）在航空系统的禁飞名单中，因而无法通过机场的护照人脸识别系统，也从未提交过护照照片。那么有没有办法帮助 Jesse 顺利地通过护照人脸识别系统呢？ 近期， 世界最大安全软件公司之一的迈克菲（McAfee）对此发起了挑战，成功帮助 Jesse 骗过了护照人脸识别系统，也证明了机器有时较人类更容易出错 。 迈克菲是如何做到的呢？它们引入了对象 B（正文中的 Steve），此人不在禁飞名单中，因而不受任何航空限制。所以 关键是要利用 Steve 的身份通过护照人脸识别系统，也就是需要提交一张看起来像 Steve 但又能与 Jesse 的实时视频完全匹配的护照照片 。 Jesse 创建了一个攻击生成模型，其中提取了 1500 张他们两人的静态照片作为数据集，通过 CycleGAN 和 FaceNet 进行训练。在经过数百次训练迭代后，终于生成了满足要求的护照照片。 最终，这张看起来像 Steve 的护照照片由 Steve 提交给政府，Jesse 使用 Steve

2020 CVPR : Domain Adaptation for Image Dehazing [paper] : http://export.arxiv.org/pdf/2005.04668 这篇文章之所以能够在 CVPR 发表，真的是因为该文章确实切中了目前基于深度学习去雾算法的要害，即依据大气光物理模型生成的人工合成雾图像与真实拍到的雾图像是不一样的。也就是说，大家一直广泛应用的大气光物理模型只是雾图像产生的一个近似图像，而非真实图像。在人工合成数据集上训练的去雾模型，自然是不能适应于真实雾图像的高质量去雾。 本人是第一次接触 Domain Adaptation 相关的研究内容，DA 其实是解决上述问题的一个非常合适的方法。 种豆南山下 的知乎上对 DA 做了比较全面的介绍，墙裂推荐学习，相关连接： https://zhuanlan.zhihu.com/p/53359505 。 Abstract Image dehazing using learning-based methods has achieved state-of-the-art performance in recent years. However, most existing methods train a dehazing model on synthetic hazy images, which are

　　 　　 本 文介绍的 是ECCV 2020 论 文《Unpaired Image-to-Image Translation using Adversarial Consistency Loss》，论文作者来自北大。本论文解读首发于知乎（https://zhuanlan.zhihu.com/p/156092551）。 　　作者 | Hyperplane PKU 　　编辑 | 丛 末 　　 　　 论文地址： https://arxiv.org/abs/2003.04858 　　 1 　　 问题引入 　　在图像处理、图形学和计算机视觉中有大量问题是将一个图片域的图片转换到另一个图片域，比如前一阵刷屏朋友圈的换脸应用。这种问题可以统称为图像到图像转换（image-to-image translation）[1]。目前基于深度学习，特别是生成对抗网络（generative adversarial networks, GANs）[2] 的方法在图像到图像转换中取得了很大的进步。 　　然而，目前的主流方法有若干局限性，导致不能支持很多应用。其中最大的一个局限性是目前的主流方法基于循环一致性损失（cycle consistency loss，以下简称cycle loss）[2]。Cycle loss 缺陷的主要原因在于其要求转换回来的图片要和原图完全一致（图2右侧 ， ）

人员信息 主讲嘉宾 姓名 ： 朱俊彦 （Jun-Yan Zhu） 现状 ：麻省理工学院博士后（PostDoc at MIT），计算机科学与人工智能实验室（Computer Science and Artificial Intelligence Laboratory, CSAIL） 个人主页 ： http://people.csail.mit.edu/junyanz/ 图形学中的尝试：趁手的武器 or 白费功夫？ 在传统的图形学管线（pipeline）中，输出图像需要经过建模、材质贴图、光照、渲染等一系列繁琐的步骤（见下图）。 现在大家看到了Deep Learning的潜力，那我们自然的就有个想法：有没有可能使用Deep Learning简化计算机图形学（Computer Graphics）的研究呢？ 一个直接的想法是把DNN“倒过来用”。之前的DNN可能是输入一幅图像，输出一个标签（比如说猫），那我们能不能输入“猫”这个字，输出一张猫的照片呢？ 很遗憾，答案是No！因为这种任务实在太复杂啦！我们很难让DNN凭空输出图像这样的 高维数据（High dimensional data） （这里的“高维”可以理解成数据量大）。实际上，在很长一段时间里，DNN只能输出数字这种简单的、低分别率的小图像，就像下面这样： 而想要生成想游戏场景这类的图片，这种方法根本没用。所以

生成式对抗网络模型综述 作者：张真源 GAN GAN简介 生成式对抗网络( Generative adversarial networks,GANs )的核心思想源自于零和博弈，包括生成器和判别器两个部分。生成器接收随机变量并生成“假”样本，判别器则用于判断输入的样本是真实的还是合成的。两者通过相互对抗来获得彼此性能的提升。判别器所作的其实就是一个二分类任务，我们可以计算他的损失并进行反向传播求出梯度，从而进行参数更新。 GAN的优化目标可以写作： $$\large\min_G\max_DV(D,G)= \mathbb{E} {x\sim p {data}}[\log D(x)]+\mathbb{E}_{z\sim p_z(z)}[log(1-D(G(z)))]$$ 其中$$\log D(x)$$代表了判别器鉴别真实样本的能力，而$$D(G(z))$$则代表了生成器欺骗判别器的能力。在实际的训练中，生成器和判别器采取交替训练，即先训练D，然后训练G，不断往复。 WGAN 在上一部分我们给出了GAN的优化目标，这个目标的本质是在最小化生成样本与真实样本之间的JS距离。但是在实验中发现，GAN的训练非常的不稳定，经常会陷入坍缩模式。这是因为，在高维空间中，并不是每个点都可以表示一个样本，而是存在着大量不代表真实信息的无用空间。当两个分布没有重叠时

要说最近抖音最火的效果是什么，无疑就是上周推出的漫画效果，这里本人来对该效果进行一些技术分析。 首先，我们先看一下效果展示： 这个效果可谓非常惊艳，真切的将真人照片转换为了漫画风格，而且支持多人处理，也是因此，一时间刷遍了抖音和朋友圈，周末两天的使用量达到了20亿次以上。 对于抖音的漫画效果，包括两个版本，一个是实时处理版本，也就是抖音上线的第一个版本，如图Fig.1所示，可以实时展示漫画效果；另一个是后来的图片版本，如图Fig.2所示，这个版本更加精细；该功能目前同步上线字节跳动旗下的一些app，比如：抖音/剪映/FaceU等。 下面，我们针对这个动漫效果来做一些技术分析，帮助大家了解一下背后的技术秘密。 本人以实时版本为例，经过分析和测试，对该效果做了如下几点总结： 实时版本中，漫画并非全图处理，而是基于人脸矩形框区域进行动漫处理； 人脸之外的背景区域非漫画效果，而是做了一些类似漫画的滤镜处理； 整体漫画分辨率不高； 不同的人脸，漫画人脸风格始终保持一致； 本人多年来一直从事人像特效相关工作，这里，我们先了解一下漫画风格的特点，这里总结如下： 1，线条化，漫画风格的边缘比较突出，主要表现为线条感强烈； 2，颜色单一，一种漫画风格往往使用的颜色数比较少，不会像真实照片中那样包含那么多颜色数，往往只有几种颜色搭配，比如新海诚效果，如图Fig.3所示； 3，人脸五官简单、夸张

Adversarial Self-Defense for Cycle-Consistent GANs 2020-04-28 17:11:38 Paper : https://arxiv.org/abs/1908.01517 Code : https://github.com/dbash/pix2pix_cyclegan_guess_noise Project page : http://ai.bu.edu/selfadv/ 1. Background and Motivation : 2. Self-Adversarial Attack in Cyclic Models: 在 unpaired 图像转换领域，给定图像 x 和 y，有两个判别器 Da 和 Db，那么循环一致性损失可以构造为： 但是，当 domain A 中的数据远远超过 B 的时候，这个转换的性质就变了，不再是 1-1 了，而是 many-to-one 了。那么，产生器 G 仍然会强迫完美的执行输入的重构，即使输入图像的一些信息已经丢失了。这种现象被描述为 一种 adversarial attack，实际上，任何给定的图像，都是可以产生这样结构化的噪声，使其可以重构出目标图像。 实际上， CycleGAN 和其他模型，利用 cycle-consistency loss 添加了一个非常 low-amplitude

最近看到一个特别有意思的开源项目，能把照片自动转化成漫画效果，经过半个小时的调试，终于跑通了。正先给大家看下实际效果，我在网上的随便搜了一张帅哥的证件照片试了下。基本上会把脑袋切出来，然后放大眼睛。 原照： 漫画效果后： 使用的是开源项目： https://github.com/minivision-ai/photo2cartoon 具体原理直接摘录read.me的一段描述： 人像卡通风格渲染的目标是，在保持原图像ID信息和纹理细节的同时，将真实照片转换为卡通风格的非真实感图像。我们的思路是，从大量照片/卡通数据中习得照片到卡通画的映射。一般而言，基于成对数据的pix2pix方法能达到较好的图像转换效果，但本任务的输入输出轮廓并非一一对应，例如卡通风格的眼睛更大、下巴更瘦；且成对的数据绘制难度大、成本较高，因此我们采用unpaired image translation方法来实现。 Unpaired image translation流派最经典方法是CycleGAN，但原始CycleGAN的生成结果往往存在较为明显的伪影且不稳定。近期的论文U-GAT-IT提出了一种归一化方法——AdaLIN，能够自动调节Instance Norm和Layer Norm的比重，再结合attention机制能够实现精美的人像日漫风格转换。 与夸张的日漫风不同，我们的卡通风格更偏写实

【推荐阅读】微服务还能火多久？>>> 简介 生成对抗网络(Generative Adversarial Network[1], 简称GAN) 是一种非监督学习的方式，通过让两个神经网络相互博弈的方法进行学习，该方法由lan Goodfellow等人在2014年提出。生成对抗网络由一个生成网络和一个判别网络组成，生成网络从潜在的空间(latent space)中随机采样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能的分辨出来。而生成网络则尽可能的欺骗判别网络，两个网络相互对抗，不断调整参数。 生成对抗网络常用于生成以假乱真的图片。此外，该方法还被用于生成影片，三维物体模型等。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 本项目采用celeba数据集，关于celeba数据集的介绍，详见 https://zhuanlan.zhihu.com/p/35975956 In[1] #解压数据集