恋爱小Tip:
如果你会图像风格迁移…
那么,暗恋的女生就再也不能以“我们画风不同不能相爱拒绝你了”!
哈哈,好冷的笑话。好了,现在言归正穿,相信每个人第一次看到摄影APP prisma时,都被其有趣新奇的功能吸引了目光,prisma能够为一张普通的照片赋予各种各样绘画流派的风格,用从古至今每个绘画天才的笔触,描绘出你手机镜头收录的一切。比如下面这张普通得不能再普通的高楼大厦:
如果你非常喜欢浮世绘的风格,那我们试试让《神奈川冲浪里》的作者葛饰北斋为你画出眼前此景吧:
或许我们也可以把梵高,蒙克叫上一起来玩:
那么有的小朋友就会问了,这个app比孙悟空72变更能变换风格,它究竟是如何做到的呢?
这其实是人工智能的一种应用,叫图像风格迁移。
图像风格迁移,是指让算法学习某个画作的风格,然后在另一张图片上体现出这种风格。也就是说,就是借助于卷积神经网络,预先将画作中的风格训练成出模型,只要在目标照片中应用这种模型,那么就可以生成相同风格化图像。用过成表示的话就是:“物体识别——纹理合成——风格提取——图片合成”。
在之前的图中我们看到,两张图片一张是负责提供内容的,另一张负责提供图像风格,这两张用来生成一张全新的图片。得到的图片内容没变,但具有了新的风格。那么问题就在于我们是如何实现的,要回答这个问题,我们需要再深挖一些,去了解卷积神经网络,卷积神经网络学习到的到底是什么?当我们给出一张图片,卷积网络会对它做什么?
卷积神经网络在诞生之初被设计用来对图片进行分类,近年来它也被应用到了诸如图片分割,图像风格迁移及其他有关计算机视觉方面的工作上,也可以用于自然语言的处理。卷积神经网络是深度学习中解释起来最直观易懂的模型之一,因为他们的表征能够做到可视化,从而我们可以理解它们可能学到的内容。
当我们在谈论图片融合时,我们在谈论什么?—我们需要对比两张图片的内容和风格。故我们需要计算风格图片和目标图片的相似度,或者说是找出差异性,尽可能去消除其中的差异性;这样我们就能够量化我们的目标了。
即使同一个物体在不同的光照条件下,轮廓、形状也可能大相径庭,而物体识别的难点也就是在不同的变量(比如不同光线)之下对物体存在的感知,这意味着神经网络要把图片内容从它处在的风格中剥离出来。
问题是如何把绘画大师作品中风格迥异的笔触与超脱想象的用色“总结”成一种风格滤镜,然后像格式刷一样刷给照片?这个问题卷积神经网络的“过滤原理”可以回答。
卷积神经网络也是通过一些可供“调教”的参数,分层处理图片以便实现某些目的,例如目前应用最为广泛的物体识别,图片分类,也可以用于图片降噪或去模糊。
也正如其他的人工智能神经网络一样,卷积神经网络的运行方式是前向分层处理。一张图片相继通过神经网络的各个分层,最后一层产生的图片即为最终结果。每一层都有一组参数,在运行过程中被不断训练。这些可调教的参数决定了每个“过滤层”的功能。图像每经过一个“过滤层”都会产生一组“滤后图像”,每一张“滤后图像”都代表了原始图像的某一特征(边缘、角度、轮廓等)。
通常,当一张图像经过了多层过滤之后,后面留下的特征会越来越抽象。例如,如果卷积神经网络被训练用于物体识别,更深层次的“过滤层”更能“感知”到物体的存在而非具体的像素值。
经过多年发展,用于物体识别的卷积神经网络表现已经越来越好,挑战门槛也越增越高。机器学习在互联网应用中已经无处不在:Facebook利用它来决定哪条新闻出现在你的时间线上,Google图片用它来做面部识别。微软的Skype Translator利用机器学习把演讲实时转换成不同的语言。Google还利用DeepMind 为它昼夜运行的数据中心节能降耗。而基于深度神经网络的人脸识别技术已经广泛应用于线下的身份认证。
人工智能不只像阿尔法狗那样,是离我们的生活很远。大家觉得人工智能时代已经到来了吗?其实答案是肯定的,越来越多产品,像天猫精灵,扫地机器人,各种各样的APP纷纷进入我们的生活。图像风格迁移,只是其中的冰山一角。以后各种顶尖的人工智能技术将继续平民化,实现在各种移动硬件上。