stylegan

英伟达的研究人员创造了一种增强方法来训练生成对抗性网络(GAN)，与先前的方法相比，这种方法需要的数据量相对更少。 英伟达的这种GAN网络，可用于风景画等艺术作品的创作，还可制作一些用于视频会议的作品。 (GAN是人工智能的一种形式，它将生成器网络与鉴别器网络相匹配，以创建图像或视频。) 训练GANs可能需要10万张以上的图像，但论文“利用有限数据训练生成对抗性网络”中提出了一种称为自适应鉴别器增强(ADA)的方法，利用这种方法训练GAN,可使需要的数据减少10到20倍。 “小型数据集的关键问题是：鉴别器会产生过拟合，训练开始发散，使得生成器的反馈变得毫无意义”论文中这样描述“通过在多个数据集上进行训练，结果证明，现在只使用几千张图片就可以取得好的结果，而 Style GAN2的训练结果则需要与更少的图像匹配。” 今年早些时候，来自Adobe Research、MIT和清华大学的研究人员详细介绍了GANS增强的另一种方法DiffAugment。 图学研究员David Luebke声称，做过实用数据科学的人都知道：大部分时间都用在收集和管理数据上，这通常称为ETL管道：提取、转换和加载。 他说：“仅这一项工作就需要大量实地数据科学人员，我们认为这种方法非常有用，因为你无需巨量的数据，也能获得有用的结果。 他说：“对于那些没有大量时间对数据进行标注的数据科学人员来说，这一点变得尤为重要

作者 | 高卫华 出品 | AI科技大本营 近年来，基于生成对抗网络GAN模型，图像生成领域实现了许多有趣的应用，尤其是在绘画创作方面。 英伟达曾在2019年提出一款名叫GauGAN的神经网络作图工具，可以利用GAN将语意分割图转换为逼真的图像，即使不擅长作画的用户，也能有机会享受到作画的乐趣，将粗糙的涂鸦变成照片级的写实作品。通过100 万张图片的训练结果，该工具的神经网络技术能够根据对真实图像的了解，填充所有细节和纹理，以及反射、阴影和颜色，自动生成写实的美丽风景图。 此外，MIT和IBM沃森联合实验室也曾联合发布一个在线工具 AI Portraits Ars，该工具可利用AI将用户上传的照片变成文艺复兴时期的大师画作，一度成为热门网站，其数据库涵盖从伦勃朗、提香再到梵高等著名艺术家的艺术绘画风格。并且，其研究人员表示，AI Portraits Ars并不是单纯的转换风格，而是由模型自己决定肖像的样式，完全重新设计照片中的面部线条。 肖像画方面，在CVPR2019上，清华大学计算机系的刘永进教授课题组提出了一个层次化的GAN模型 APDrawingGAN ，可将人脸照片转化为高质量的艺术肖像线条画。 前不久，reddit上的一个技术博主AtreveteTeTe基于StyleGAN模型，开发了一个 可将普通人像照片卡通化的应用 ，并通过First Order

　　当你访问“This Person Does Not Exist”（此人不存在）网站的时候，你会看到一张朝你微笑的人脸（每次刷新都会跳出不同肤色的人脸）。尽管这些笑脸非常的真实，人眼也很难区分，但是这些笑脸均由神经网络算法生成的，均不是现实生活中的真人。 　　该网站的创作者Phillip Wang于2月12日在Facebook群组中发布了这个网站，声称该网站的神经网络算法能够从512维矢量中划分面部图像。该技术基于NVIDIA设计的最先进人工智能StyleGAN，一种可以分离图像各种元素的神经网络并用于学习和生成新的图像。Nvidia工程师团队于2月6日在arXiv上更新的一份预打印论文中进行了详细介绍。 　　StyleGAN是英伟达2018年底发布的最新研究成果，官方开源了代码，需要Python 3.6和TensorFlow 1.10以上 （支持GPU） 。和官方代码实现一起发布的，还有Flickr高清人脸数据集。数据集里包含7万张1024×1024高清人像。英伟达说，这些照片在年龄、种族、以及图片背景上，都有很强的多样性。 　　代码实现：https://github.com/NVlabs/stylegan 　　FFHQ数据集：https://github.com/NVlabs/ffhq-dataset 　　论文：https://arxiv.org/abs/1812.04948

#error "C++ versions less than C++11 are not supported." I encountered the same error. A nasty workaround was to add flags --std=c++11 and -DNDEBUG to the nvcc call in dnnlib/tflib/custom_ops.py ln 64 : cmd = 'nvcc --std=c++11 -DNDEBUG ' + opts.strip() https://mlog.club/article/2857895 “undefined symbol: _ZN10tensorflow12OpDefBuilder6OutputESs” https://blog.csdn.net/zaf0516/article/details/103618601 打开custom_ops.py中127行--compiler-options \'-fPIC -D_GLIBCXX_USE_CXX11_ABI=0，改为--compiler-options \'-fPIC -D_GLIBCXX_USE_CXX11_ABI=1，即可如下图所示： 来源： oschina 链接： https://my.oschina.net/u/4339825/blog

来源：机器之心 本文 约2000字 ，建议 阅读5分钟 你有没有想过，这些动漫角色的真人版会是什么样子…… 电影《超人总动员》中的巴小飞和《飞屋环游记》中的小罗都是大家熟悉且喜欢的角色。但你有没有想过，这些动漫角色的「真人」版会是什么样子……这项研究将告诉你答案。 将人脸卡通化的应用我们已经见过一些了，比如此前介绍过的 Toonify Yourself !，那么能不能反过来，将卡通形象变成「真人版」呢？ 最近 GS&P 广告公司技术总监 Nathan Shipley 利用AI创建了皮克斯角色的「真人」版，看起来效果还不错。（PS：他曾经制作了「复活」艺术家达利的deepfake实例。） 《超人总动员》里的「飞毛腿」巴小飞也太可爱了吧，真人版与原版非常相似。 《飞屋环游记》里的小罗原来「真人版」长这样，有点吓人。虽然五官相似，但头发有点非主流，看样子是把原图中的帽子转换成了头发…… 二代蜘蛛侠Miles及其经过转换后的真人版。 不光如此，他还把画作里的人物变「回」现实。比如蒙娜丽莎： 墨西哥女画家弗里达·卡罗的自画像： 上：弗里达·卡罗的自画像（左）与转换后的「真人版」；下：弗里达·卡罗的照片。 这是怎么做到的呢？ Nathan表示他使用了一个叫做pixel2style2pixel的框架，在与源图像形状匹配的StyleGAN FFHQ潜在空间中快速找出「真人版」人脸图像

get 了这个网站，今年万圣节 C 位就是你的！ 机器之心报道，作者：张倩、魔王。 AI 是一个盛产阴间产品的领域，这一点似乎已经毋庸置疑。前不久，有人做了个用来生成「大眼萌」漫画形象的网站「 Toonify 」，但很快就有人走向了另一个极端：用类似技术做一个丧尸生成器！ 利用 Toonify 生成的威尔 · 史密斯漫画形象。 利用「丧尸生成器」生成的威尔 · 斯密斯丧尸形象。 被玩坏的两位美国总统候选人。 这种搞笑又惊悚的风格似乎和即将到来的万圣节很般配。 为了让大家都用上这个效果，作者还专门做了一个名为「MAKE ME A ZOMBIE」的网站。 网站地址： https:// makemeazombie.com/ 网站的用法非常简单：上传照片，点击「Make Me A Zombie！」，网站就会自动识别出人脸并生成你的丧尸照： 看了生成效果之后，有人表示想在万圣节 Party 上做一个照相棚，希望作者能够开放代码或 API。 看来，有了这个生成器，万圣节不用愁换什么头像了。 技术细节 据作者介绍，该模型的开发与 Toonify 并无关联，不过碰巧使用的是相同的技术栈： 该项目首先通过迁移学习得到一个 StyleGAN2 丧尸生成器，然后基于《Cross-Model Interpolations between 5 StyleGanV2 models - furry, FFHQ,

前言 姿态估计，一直是近几年的 研究热点 。 它就是根据画面，捕捉人体的运动姿态，比如 2D 姿态估计： 再比如 3D 姿态估计： 看着好玩， 那这玩应有啥用呢 ？ 自动驾驶 ，大家应该都不陌生，很多公司研究这个方向。 自动驾驶里，就用到了 人体行为识别 。 通过摄像头捕捉追踪人体的动作变化，根据肢体动作或变化角度判断人体动作行为，可用于无人车、机器人、视频监控等行为分析需求场景。 而这些的基础，就是人体的姿态估计。 再比如， 虚拟形象 。 通过 真人驱动 ，让虚拟形象具备类比真人的肢体动作，并支持与3D人脸特效、手势识别等功能结合应用，让虚拟形象更加灵活生动，可用于虚拟IP驱动、肢体驱动类游戏、远程授课或播报等场景。 姿态估计，无疑有着巨大的 应用价值 。 但今天，咱们说的这个算法，比上文提到的，还要酷炫一些！ 它就是 FrankMocap。 FrankMocap FrankMocap 是港中文联合 Facebook AI 研究院提出的 3D 人体姿态和形状估计 算法 。 不仅仅是估计人体的运动姿态，甚至连 身体的形状 ， 手部的动作 都可以一起计算出来。 算法很强大，能够从 单目视频 同时估计出 3D 人体和手部运动，在一块 GeForce RTX 2080 GPU 上能够达到 9.5 FPS。 缺点就是，速度有点慢，计算量较大，达到实时性有一定难度。 不过随着硬件的快速发展

StyleGAN2显著地提高了生成图像的质量，作为其中一个应用，利用StyleGAN2找到真实人脸的最优潜码并重建图像，是一个有意思的话题。 到目前为止，我们收集到了四种重建真实人脸的方法，分别是： （1）StyleGAN2 官网自带的 run_projector.py，参见： 轻轻松松使用StyleGAN2（二）：使用run_projector.py将真实人脸投射到StyleGAN2 dlatents空间并重建图像 （2）rolux基于 run_projector.py 改进的 project_images.py，参见： 轻轻松松使用StyleGAN2（四）：StyleGAN2 Encoder，使用 projector_images.py 重建高质量人脸图像 （3）rolux开发的 StyleGAN Encoder，参见： 轻轻松松使用StyleGAN2（三）：一笑倾人城，再笑倾人国：让你的女朋友开心笑起来 （4）将Pbaylies在一代 StyleGAN Encoder 中成果，移植到 StyleGAN2 上，参见： StyleGAN2 使用 pbaylies/stylegan-encoder 将图片投影到潜在空间 这四种重建真实人脸的方法，各自的特点和处理速度如何呢？我们的实验结果如下表所示： 方法名称 W 向量 vgg16-zhang 模型 resnet50 反向网络

©PaperWeekly 原创 · 作者｜孙裕道 学校｜北京邮电大学博士生 研究方向｜GAN图像生成、情绪对抗样本生成 论文标题： A Mathematical Introduction to Generative Adversarial Nets 论文链接： https://arxiv.org/abs/2009.00169 引言 Goodfellow 大神的开创性工作 GAN 自 2014 年诞生以来，GAN 就受到了极大的关注，并且这种关注导致了 GANs 的新思想、新技术和新应用的爆炸式增长。 GAN 的原论文中的证明会有一些不严谨的地方，并且在算法中为了训练效率更高，也有很多简化，其实这也是这个领域的一个常见现象，在北大的深度学习的数学原理的暑期课上，老师就提到过 深度学习中数学严谨证明占 6 成 。 言外之意就是该领域的证明过程并没有纯数学的那么严谨，当从计算机科学工程师角度去推导证明的时候，往往会有跟实际相悖的前提假设，但是从该假设推导出来的结论却是与实验结果相符或者该结论会对解决实际问题中有一定的指导意义。 该作者是一个数学底蕴很强的 AI 研究者，该论文的目的是试图从数学的角度对 GANs 进行概述，是一篇不可多得好有关 GAN 数学原理的理论性文章，论文中涉及到大量的数学原理和很多让人眼花缭乱的数学符号，可以把它当成一个 GAN 的理论手册