StyleGAN2显著地提高了生成图像的质量,作为其中一个应用,利用StyleGAN2找到真实人脸的最优潜码并重建图像,是一个有意思的话题。
到目前为止,我们收集到了四种重建真实人脸的方法,分别是:
(1)StyleGAN2 官网自带的 run_projector.py,参见:轻轻松松使用StyleGAN2(二):使用run_projector.py将真实人脸投射到StyleGAN2 dlatents空间并重建图像
(2)rolux基于 run_projector.py 改进的 project_images.py,参见:轻轻松松使用StyleGAN2(四):StyleGAN2 Encoder,使用 projector_images.py 重建高质量人脸图像
(3)rolux开发的 StyleGAN Encoder,参见:轻轻松松使用StyleGAN2(三):一笑倾人城,再笑倾人国:让你的女朋友开心笑起来
(4)将Pbaylies在一代 StyleGAN Encoder 中成果,移植到 StyleGAN2 上,参见:StyleGAN2 使用 pbaylies/stylegan-encoder 将图片投影到潜在空间
这四种重建真实人脸的方法,各自的特点和处理速度如何呢?我们的实验结果如下表所示:
方法名称 | W 向量 | vgg16-zhang 模型 | resnet50 反向网络 | 迭代次数 | 处理时间 / 图 | 图像尺寸 |
官网自带 | 1x512 | 支持 | 无 | 1000 | 154.4秒 | 1024x1024 |
rolux project_images | 18x512 | 支持 | 无 | 1000 | 151.8秒 | 1024x1024 |
rolux encoder | 18x512 | 支持 | 无 | 1000 | 102.4秒 | 1024x1024 |
pbaylies encoder | 18x512 | 支持 | 支持 | 100 | 32.1秒 | 1024x1024 |
大家最关心的,四种方法重建人脸的图像质量如何呢?我们选用了两张真实人脸和两张美术作品人脸,对比他们的重建质量如下:
原图 官网 rolux project rolux encoder pbaylies encoder
看完以后,大家就会有了自己的看法。
如果是你,会选用哪个方案呢?
(完)
来源:oschina
链接:https://my.oschina.net/u/4331414/blog/4303744