作者 | 高卫华
出品 | AI科技大本营
近年来，基于生成对抗网络GAN模型，图像生成领域实现了许多有趣的应用，尤其是在绘画创作方面。
英伟达曾在2019年提出一款名叫GauGAN的神经网络作图工具，可以利用GAN将语意分割图转换为逼真的图像，即使不擅长作画的用户，也能有机会享受到作画的乐趣，将粗糙的涂鸦变成照片级的写实作品。通过100 万张图片的训练结果，该工具的神经网络技术能够根据对真实图像的了解，填充所有细节和纹理，以及反射、阴影和颜色，自动生成写实的美丽风景图。
此外，MIT和IBM沃森联合实验室也曾联合发布一个在线工具AI Portraits Ars，该工具可利用AI将用户上传的照片变成文艺复兴时期的大师画作，一度成为热门网站，其数据库涵盖从伦勃朗、提香再到梵高等著名艺术家的艺术绘画风格。并且，其研究人员表示，AI Portraits Ars并不是单纯的转换风格，而是由模型自己决定肖像的样式，完全重新设计照片中的面部线条。
肖像画方面，在CVPR2019上，清华大学计算机系的刘永进教授课题组提出了一个层次化的GAN模型APDrawingGAN，可将人脸照片转化为高质量的艺术肖像线条画。
前不久，reddit上的一个技术博主AtreveteTeTe基于StyleGAN模型，开发了一个可将普通人像照片卡通化的应用，并通过First Order Motion模型生成了动画；类似的AI应用还有Cartoonize，其核心技术来自CVPR 2020的投稿论文，在该应用上一键上传拍摄的图像或视频，就可以在很短时间内将它卡通化。
大多数GAN研究都集中在西方艺术上，目前我们已经看到不少AI生成写实主义、后现代，甚至是抽象主义的作品，而很少能看到AI在传统东方艺术上的表现。传统东方艺术同样拥有悠久的历史和深刻的文化意义，在美学上也与西方艺术一样值得深入研究。
近日，一位普林斯顿大学的本科学生Alice Xue将目光投向了中国山水画，在毕业论文中开发了一款名为SAPGAN（Sketch-And-Paint GAN)的AI模型，该模型可以“从无到有”生成高质量的中国山水画。
（a）由人类艺术家创建的中国山水画；
（b）基线模型（顶部绘画来自RaLSGAN，底部绘画来自StyleGAN2 ）；
（c）和（d）通过提出的Sketch-And-Paint框架，结合RaLSGAN和StyleGAN2绘制
实现过程
传统中国山水画在绘制过程中，一般有勾、皴、点、染等步骤，顾名思义，就是先勾画出大致轮廓，再进行渲染。而AIice提出的端到端生成中国山水画无条件输入模型，遵循的也是这个步骤。
为了实现这一过程，AIice构建了两个模型：Stage I: SketchGAN ；Stage II: PaintGAN。SketchGAN是从样本图像中采集高分辨率的边缘图，而PaintGAN是根据SketchGAN进行“翻译”创作，从而生成一幅完整的山水画。
训练数据集
SAPGAN模型是基于一个新的中国传统山水画数据集上训练的，这一数据集不是来自百度或者谷歌，而是由作者本人收集画作并建立的。
AIice表示，目前的山水画数据集存在不唯一性和图像质量及数量不足的问题。为了促进该领域的更多研究发展，Alice建立了一个涵盖2192幅高质量中国传统山水画的新数据集，并在GitHub上发布了这一数据集，供公众研究使用。
数据集中的山水画来自史密森尼弗里尔美术馆、大都会艺术博物馆、普林斯顿大学美术馆和哈佛大学美术馆等开放式博物馆画廊，Alice还手动过滤掉了非景观艺术品，并手工裁剪调整其大小，以进行模型训练。
真实性测试
论文中提到，为验证SAPGAN创作画作的真实性，进行了一项有242名参与者的视觉图灵测试，而测试结果出乎意料。
SAPGAN创作出的画作被误认为人类艺术品的频率高达55%，而基线GAN模型创作的画作仅以11％的频率出现。在美学品质方面，SAPGAN模型在所有艺术类别中的评分也始终高于基线GAN模型。
测试人员中，有29位是中国人，其余都是以英语为母语的外国人。然而，比较其测试结果得出，华语应试者判断画作来源的准确率明显低于讲英语的应试者，说汉语的参与者平均得分为49.2%，明显低于说英语参与者的73.5%。也就是说，说中文的人70%的时候还会把SAPGAN的画误认为是人，而整体水平是55%。
显然，无论是否熟悉中国文化，参与者都难以区分画作的来源，由此也可见SAPGAN模型所生成画作的真实感。
更令人惊讶的是，在做这项研究之前，Alice从未上过机器学习课程，作为一个新手，她反而找到了更有趣的角度去处理问题，得出这样一项创新研究成果。
论文链接：
https://arxiv.org/pdf/2011.05552.pdf
数据集链接：
https://github.com/alicex2020/Chinese-Landscape-Painting-Dataset
更多精彩推荐
来源：oschina
链接：https://my.oschina.net/u/4386603/blog/4774515