gan

1、约会软件上的小姐姐，其实是 StyleGAN 生成的假人 https://mp.weixin.qq.com/s/FD-hPW0btjiSwTK7nbKROQ Icons8公司给予GAN开发虚拟女生，来作为社交 啊，交友网站啊一些使用，是gan的一个用途，同时GAN还可作为智能编辑，AI数字人等用途，后期GAN的需求会越来越大。 来源： CSDN 作者： AI小汪汪 链接： https://blog.csdn.net/xzdongdong/article/details/104148972

在使用GAN进行图像生成任务中，我们的目的就是为了得到高质量的生成图像，那么总得需要个度量指标来衡量生成的图像是否是“高质量”的吧？不能完全靠人眼主观判断。这里提到生成图像的“高质量”，主要从两方面考虑： 图像本身的质量。如：是否清晰，内容是否完整，是否逼真等等。 多样性。最终的生成器所生成的图像需要多种多样的，不能只生成一种或几种类型的图像，产生的这种现象称为模式崩溃（Mode collapse）。 下面介绍两个在文献中常用的评价指标，IS（Inception Score）和FID（Fréchet Inception Distance）。 一、IS（Inception Score） Inception Score[1] 使用在ImageNet上预训练的Inception V3 Network作为分类网络，将生成器生成的图像输入到Inception V3 Network中，对该网络输出值（图像所属类别）做统计分析。 IS的计算公式如下： I S ( G ) = exp ⁡ ( E x ∼ p g D K L ( p ( y ∣ x ) ∣ ∣ p ( y ) ) ) (1) IS(G)=\exp(\mathbb{E}_{\mathbf{x}\sim p_g}D_{KL}(p(y|\mathbf{x}) || p(y))) \tag 1 I S ( G ) = exp ( E x ∼

basic idea vector >Generator>image>Discrinminator>scalar(分越高，真实度越高） 算法： Discriminator： D（x)是discriminator给x这个image打的分，为一数值。 真实数据打分高，伪造数据分低。所以用1-D（x’i) 其中，discriminator使用sigmoid函数，将取值限制在0-1，以适应log运算要求。（但这样做其实不是最好方法） D（x’i)值越小，V越大。使用Gradient Ascent（梯度上升）取得max。 ps：n为学习率（learning rate）。 Generator： 生成数据须取得高分，max V。 G(z)为输入噪声后生成的image，D（G（z))为对噪声生成的image的打分。还是用梯度上升。 GAN as structured learning Can Generator learn by itself? GAN比自动编码器（Auto-encoder）好的地方在于考虑到全局。 imput 的scalar与output的image关系密切 image>scalar>image,两image越相似，说明训练越好。（why not scalar>scalar？如果这样的话，input差距大，output差距反而会小，input一串数据变了

文章目录 生成式模型的基础：极大似然估计 GANs 最终版本 问题 非饱和博弈 DCGAN 不同类型的GAN conditional GAN 无监督条件GAN--cycle GAN 对抗学习 https://blog.csdn.net/suyebiubiu/category_9372769.html 生成式模型的基础：极大似然估计 θ ∗ = a r g m a x θ E x p d a t a l o g P m o d e l ( x ∣ θ ) \theta^*=argmax_\theta E_{x~p_{data}}logP_{model}(x|\theta) θ ∗ = a r g m a x θ ​ E x p d a t a ​ ​ l o g P m o d e l ​ ( x ∣ θ ) 生成式模型都源于极大似然估计 显示概率分布 马尔科夫链/BM 隐式概率分布 GSN GAN—唯一一个从数据观测一步到位的模型 以前比较强大的模型都源于HMM模型 人工智能两个阶段 感知阶段 认知阶段 GAN（生成式模型 生成数据样本的能力 反应了他的理解（不能产生就没有理解） GANs 和以前模型的的区别 使用了 latent code（缺省编码） 数据会逐渐统一 (unlike variational methods) 不需要马尔可夫链 被认为可以生成最好的样本

以下链接是个人关于Liquid Warping GAN(Impersonator)-姿态迁移，所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：a944284742相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。 风格迁移1-00：Liquid Warping GAN(Impersonator)-目录-史上最新无死角讲解 3.4. Training Details and Loss Functions 在这个部分，主要是介绍 loss 的定义，以及整个训练系统。对于人体mesh重构，我们使用的是HMR的loss，并且使用了他的预训练模型。 对于Liquid Warping GAN，在训练阶段，我们从任意视频从随机抽取一对图片，一帧当做 source I s I_s I s ​ ，一帧当做 reference I r I_r I r ​ , 注意我们提出方法，是集中于动作模仿，外貌转化，以及新视角合成为一个框架。因此他们三个模型的任意一个模型训练完成，都可适用于另外两个任务。如，在我们的实验中，我们训练的是动作模仿的模型，但是同样适用于另外两个任务。 整体的 l o s s loss l o s s 由四部分组成，分别是perceptual loss， face identity loss，attention

JSI-GAN: GAN-Based Joint Super-Resolution and Inverse Tone-Mapping with Pixel-Wise Task-Specific Filters for UHD HDR Video 摘要 Introduction Proposed Method 实验结果 摘要 使用分治策略来处理SR-iTM问题；将其分成三个任务相关的子网络：图像重建子网络（image reconstruction subnet），细节恢复子网络 (detail restoration subnet)，局部对比度增强子网络(local contrast enhancement subnet)，从而学习到一组像素级的逐像素的1维可分离卷积用于复原细节，像素级的2维局部卷积核来用于对比度增强。此外，作者提出一种可增强细节信息的GAN loss，可同时增强细节恢复和对比度复原。 代码链接： https://github.com/JihyongOh/JSI-GAN Introduction 一方面，作者认为SR-ITM这个问题需要同时考虑两个问题：如何在上采样的结果中恢复细节；由于比特位数增加如何增强局部的对比度信息（enhance local contrast) GAN网络可用于生成图片，但作者认为GAN网络会导致主观的图像质量提高的同时降低客观的评价指标

之前就对GAN这项技术很感兴趣，可是后面一直没有找到时间研究一下，今天找来了一个很不错的例子学习实践了一下，简单来记录一下自己的实践，具体的代码如下： #!usr/bin/env python #encoding:utf-8 from __future__ import division ''' __Author__:沂水寒城 功能： 基于GAN的手写数字生成实践 ''' import os import numpy as np import tensorflow as tf import matplotlib.pyplot as plt import matplotlib.gridspec as gridspec from tensorflow.examples.tutorials.mnist import input_data #设置基本的参数信息 mb_size = 32 X_dim = 784 z_dim = 64 h_dim = 128 lr = 1e-3 m = 5 lam = 1e-3 gamma = 0.5 k_curr = 0 if not os.path.exists('result/'): os.makedirs('result/') mnist = input_data.read_data_sets('../../MNIST_data', one_hot

初识GAN 传统GAN 判别器loss 生成器loss 训练技巧 WGAN 判别器 生成器 训练技巧 训练次数 判别器学习率 优化器 其他 LSGAN----Least Squares GANs 判别器 生成器 设置 传统GAN 判别器loss d_loss = d_loss_real + d_loss_fake d_loss_real = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=d_logits_real, labels=tf.ones_like(d_logits_real) * (1 - smooth))) d_loss_fake = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=d_logits_fake, labels=tf.zeros_like(d_logits_fake))) 生成器loss g_loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=d_logits_fake, labels=tf.ones_like(d_logits_fake))) 训练技巧 在GAN训练的过程中，为更好地泛化

最近一直在琢磨 Generative Adversarial Imitation Learning 这篇文章的内容和实现，也自己实现了几个GAN，但是效果都不是很理想，因此找到了一篇专门讲提升GAN表现的文章，用几个小时的时间把这篇文章翻译一下。 原文链接： GAN — Ways to improve GAN performance 相较于其他的神经网络，GAN在下面几个方面遇到的问题更为严重： （1）不收敛：模型永不收敛，甚至，模型及其不稳定(unstable) （2）模式坍塌（mode collapse）：生成器只生成有限的几种模式。 （3）训练速度慢：会遇到梯度消失的问题。 这篇文章主要讲提升GAN表现的方法，重点放在以下几个方面： （1）为一个更好的优化目标改变cost function （2）为cost function添加额外的惩罚 （3）避免overconfidence和overfitting （4）优化模型的更好方法 （5）添加标签 特征匹配 生成器为了欺骗识别器而去生成最好的照片。在生成器和识别器在不断尝试去战胜他们的对手的时候，这“最好的”照片是在不断改变的。然而，有的时候这个优化过程可能会变得太贪心，这个对抗的过程变成了永不停息的猫捉老鼠的游戏。在这种情况下，不收敛和模式坍塌的问题便出现了。 特征匹配改变了生成器的cost function

Kim S Y , Oh J , Kim M . JSI-GAN: GAN-Based Joint Super-Resolution and Inverse Tone-Mapping with Pixel-Wise Task-Specific Filters for UHD HDR Video[J]. ECCV 2019. 摘要: 最近已经探索了对超分辨率（SR）和逆色调映射（ITM）的联合学习，以将遗留的低分辨率（LR）标准动态范围（SDR）视频转换为高分辨率（HR）高动态范围（HDR）视频，以满足不断增长的需求超高清HDR电视/广播应用程序。但是，以前的基于CNN的方法直接从LR SDR帧重建HR HDR帧，并且仅以简单的L2损失进行训练。在本文中，我们采用分而治之的方法设计了一种新颖的基于GAN的联合SR-ITM网络，称为JSI-GAN，它由三个特定于任务的子网组成：图像重建子网，详细信息恢复（DR）子网和局部对比度增强（LCE）子网。我们精心设计了这些子网，以便对它们进行适当的训练以达到预期目的，并通过DR子网学习了一对按像素划分的1D可分离滤波器，以进行细节还原，并通过LCE子网学习了按像素划分的2D局部滤波器，以增强对比度。此外，为了有效地训练JSI-GAN，我们提出了一种新颖的detailGAN损失以及常规GAN损失，这有助于增强局部细节和对比度，以重建高质量的HR