pix2pixhd

点击上方“ 迈微AI研习社 ”，选择“ 星标★ ”公众号 重磅干货，第一时间送达 图像 / 视频合成领域的集大成者，就在这一篇了。 图像和视频等视觉数据的生成是机器学习和计算机视觉领域重要的研究问题之一。近几年，英伟达提出了 SPADE、MUNIT 等多个图像及视频合成模型。 近日，英伟达又开源了一个新的 PyTorch 库「Imaginaire」，共包含 9 种英伟达开发的图像及视频合成方法。 项目地址： https://github.com/NVlabs/imaginaire 这九种方法分别为： 有监督的图像到图像转换 1、pix2pixHD 2、SPADE/GauGAN 无监督的图像到图像转换 1、UNIT 2、MUNIT 3、FUNIT 4、COCO-FUNIT 视频到视频转换 1、vid2vid 2、fs-vid2vid 3、wc-vid2vid pix2pixHD 「pix2pixHD」是 pix2pix 的升级版本，具备高分辨率图像和语义处理功能，主要解决了深度图像合成编辑中的质量及分辨率问题。 项目主页：https://tcwang0509.github.io/pix2pixHD/ 论文链接：https://arxiv.org/pdf/1711.11585.pdf 在这篇论文中，来自英伟达和 UC 伯克利的研究者提出了一种使用条件 GAN

　　机器之心报道 　　 作者：蛋酱、小舟 　　 图像 / 视频合成领域的集大成者，就在这一篇了。 　　图像和视频等视觉数据的生成是机器学习和计算机视觉领域重要的研究问题之一。近几年，英伟达提出了 SPADE、MUNIT 等多个图像及视频合成模型。 　　近日，英伟达又开源了一个新的 PyTorch 库「Imaginaire」，共包含 9 种英伟达开发的图像及视频合成方法。 　　 　　项目地址：https://github.com/NVlabs/imaginaire 　　这九种方法分别为： 　　有监督的图像到图像转换 　　1、pix2pixHD 　　2、SPADE/GauGAN 　　无监督的图像到图像转换 　　1、UNIT 　　2、MUNIT 　　3、FUNIT 　　4、COCO-FUNIT 　　视频到视频转换 　　1、vid2vid 　　2、fs-vid2vid 　　3、wc-vid2vid 　　 pix2pixHD 　　「pix2pixHD」是 pix2pix 的升级版本，具备高分辨率图像和语义处理功能，主要解决了深度图像合成编辑中的质量及分辨率问题。 　　 　　项目主页：https://tcwang0509.github.io/pix2pixHD/ 　　 　　论文链接：https://arxiv.org/pdf/1711.11585.pdf 　　在这篇论文中，来自英伟达和 UC

来源：机器之心 本文 约2000字 ，建议 阅读5分钟 你有没有想过，这些动漫角色的真人版会是什么样子…… 电影《超人总动员》中的巴小飞和《飞屋环游记》中的小罗都是大家熟悉且喜欢的角色。但你有没有想过，这些动漫角色的「真人」版会是什么样子……这项研究将告诉你答案。 将人脸卡通化的应用我们已经见过一些了，比如此前介绍过的 Toonify Yourself !，那么能不能反过来，将卡通形象变成「真人版」呢？ 最近 GS&P 广告公司技术总监 Nathan Shipley 利用AI创建了皮克斯角色的「真人」版，看起来效果还不错。（PS：他曾经制作了「复活」艺术家达利的deepfake实例。） 《超人总动员》里的「飞毛腿」巴小飞也太可爱了吧，真人版与原版非常相似。 《飞屋环游记》里的小罗原来「真人版」长这样，有点吓人。虽然五官相似，但头发有点非主流，看样子是把原图中的帽子转换成了头发…… 二代蜘蛛侠Miles及其经过转换后的真人版。 不光如此，他还把画作里的人物变「回」现实。比如蒙娜丽莎： 墨西哥女画家弗里达·卡罗的自画像： 上：弗里达·卡罗的自画像（左）与转换后的「真人版」；下：弗里达·卡罗的照片。 这是怎么做到的呢？ Nathan表示他使用了一个叫做pixel2style2pixel的框架，在与源图像形状匹配的StyleGAN FFHQ潜在空间中快速找出「真人版」人脸图像

get 了这个网站，今年万圣节 C 位就是你的！ 机器之心报道，作者：张倩、魔王。 AI 是一个盛产阴间产品的领域，这一点似乎已经毋庸置疑。前不久，有人做了个用来生成「大眼萌」漫画形象的网站「 Toonify 」，但很快就有人走向了另一个极端：用类似技术做一个丧尸生成器！ 利用 Toonify 生成的威尔 · 史密斯漫画形象。 利用「丧尸生成器」生成的威尔 · 斯密斯丧尸形象。 被玩坏的两位美国总统候选人。 这种搞笑又惊悚的风格似乎和即将到来的万圣节很般配。 为了让大家都用上这个效果，作者还专门做了一个名为「MAKE ME A ZOMBIE」的网站。 网站地址： https:// makemeazombie.com/ 网站的用法非常简单：上传照片，点击「Make Me A Zombie！」，网站就会自动识别出人脸并生成你的丧尸照： 看了生成效果之后，有人表示想在万圣节 Party 上做一个照相棚，希望作者能够开放代码或 API。 看来，有了这个生成器，万圣节不用愁换什么头像了。 技术细节 据作者介绍，该模型的开发与 Toonify 并无关联，不过碰巧使用的是相同的技术栈： 该项目首先通过迁移学习得到一个 StyleGAN2 丧尸生成器，然后基于《Cross-Model Interpolations between 5 StyleGanV2 models - furry, FFHQ,

目录 GAN CGAN pix2pix CycleGAN pix2pixHD StarGAN PaddlePaddle: 百度顶会论文复现营 . GAN GAN，即生成对抗网络，其网络结构主要包含一个生成器G和一个判别器D。首先，一个n维噪声输入到模型中，由生成器生成一个fake图像（根据目标而定），接着传入真实图像，resize成与fake图像相同大小，共同输入到判别器D中，送入训练网络中，训练趋势是使生成器生成越来越逼真，可以“以假乱真”的假图像，而判别器的精度也不断提升，最后，判别器D无法区分生成器G生辰的fake图像，得到的真假图像概率为0.5，达到理想状态。经过这样的一种“抗衡”生成器G的图像生成能力越来越强，整个网络的目的也就达到了。 CGAN CGAN（条件生成对抗网络）主要针对GAN的随机性问题，在生成器和判别器中都加入了一个标签作为输入，从它的损失函数中可以看出，D和G的概率表达都变成了条件概率，这样，对于不同的标签y，就有不同的函数表达，从而可以完成特定的任务。 pix2pix Pix2pix主要的核心思想是“对应关系”，以草图代替噪声作为输入，由生成器生成一个图片，再将草图和G生成的图片共同作为D的输入，这样就可以把草图变成相应的图片了。 这里附上一个有趣的小链接：https://affinelayer.com/pixsrv/，可以把自己绘制的草图转化成猫咪。

人员信息 主讲嘉宾 姓名 ： 朱俊彦 （Jun-Yan Zhu） 现状 ：麻省理工学院博士后（PostDoc at MIT），计算机科学与人工智能实验室（Computer Science and Artificial Intelligence Laboratory, CSAIL） 个人主页 ： http://people.csail.mit.edu/junyanz/ 图形学中的尝试：趁手的武器 or 白费功夫？ 在传统的图形学管线（pipeline）中，输出图像需要经过建模、材质贴图、光照、渲染等一系列繁琐的步骤（见下图）。 现在大家看到了Deep Learning的潜力，那我们自然的就有个想法：有没有可能使用Deep Learning简化计算机图形学（Computer Graphics）的研究呢？ 一个直接的想法是把DNN“倒过来用”。之前的DNN可能是输入一幅图像，输出一个标签（比如说猫），那我们能不能输入“猫”这个字，输出一张猫的照片呢？ 很遗憾，答案是No！因为这种任务实在太复杂啦！我们很难让DNN凭空输出图像这样的 高维数据（High dimensional data） （这里的“高维”可以理解成数据量大）。实际上，在很长一段时间里，DNN只能输出数字这种简单的、低分别率的小图像，就像下面这样： 而想要生成想游戏场景这类的图片，这种方法根本没用。所以

(原创声明，转载引用需要指明来源) https://study.163.com/course/courseMain.htm?courseId=1006383008&share=2&shareId=400000000398149 （博主录制） 1.python创始人和发展史 Python编程语言创始人是Guido van Rossum，于1989年底在荷兰国家数学和计算机科学研究所设计出来。Python至今已有31年历史，流行全球，适用于初学者作为第一门编程语言学习。Python最显著特点就是简单，有用，强大，之后会详细介绍。 据说Python这个名字的灵感来自于英国喜剧团体 Monty Python。 2 python特征非常强大 Python在全球大流行的原因很多，主要有以下特征： (1) 易于阅读：Python代码量小，结构化突出，语法约束较少，定义清晰，有详细注解说明。阅读一个良好的 Python 程序就感觉像是在读英语一样，python使你能够专注于解决问题而不是去搞明白语言本身。 (2) 易于学习：相比C语言和Java，Python不过于强调语法，结构简单，语法定义明确，学习起来更加简单。 (3) 无编程经验也可学习：python可作为初学者第一门编程语言学习。无编程经验也可快速学会python。 (4) 适用各类人群和职业：无论学生，老师