艺术创作过程中与生成对抗网络碰撞出的火花.doc

《艺术创作过程中与生成对抗网络碰撞出的火花.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、艺术创作过程中与生成对抗网络碰撞出的火花　　美国画家JacksonPollock曾说：“所有的一切都是建筑游戏，有些人会用笔刷，有人会用铲子，还有人会选择一支笔。”　　而我自己选择了神经网络。我是一名艺术家，但同时我也开发了很多商用软件。但是此前，艺术和编程在我的生活中完全毫无关联。除了偶尔用计算机作图进行生成艺术的处理，我所有的作品都是进行模拟，直到我发现了生成对抗网络（GANs）。　　　　　　自从2014年GANs发明生成之后，机器学习社区就出现了很多有关GAN的技术。在这篇文章中，我将大概讲解为什么GANs是如此优秀的艺术类工具，以及我是怎样用它创造艺术作品的。　　以

2、下是我的一些艺术作品：　　　　艺术家眼中的GAN　　所以到底什么是GAN？为什么它对艺术家很有吸引力？　　我们可以将艺术的创作过程看作一种游戏。游戏动作发生在艺术工作室中，其中有两位玩家：评论者和艺术初学者。初学者的目标是创作大师级别的画作，但不能抄袭。而评论者的目标是判断他看到的画作是大师的作品还是初学者的作品。一次次判断之后，初学者和评论者会进行比赛，初学者会越来越熟练地进行模仿，风格越来越像大师。而评论者会更容易辨别出哪幅画作来自初学者，二者互相督促，水平越来越高。　　GAN就是模拟这一过程的神经网络，评论者的角色由判别网络D扮演，艺术初学者的角色由生成网络G扮演。一

3、次次“游戏”过后，生成网络模拟的大师画作风格会更逼真：　　　　那么你的角色是什么呢？轻微调整游戏规则（网络的超参数），成为了美术馆馆长（curator）。作为馆长你要从GAN的输出中进行挑选，因为GAN会生成很多不同结构、颜色的组合，与其训练的样本图片有各种不同的差异。所以作为馆长也不容易，有时你会觉得很多图像都很有趣，想把它们都留下来。　　　　用上述GAN进行创作是很有趣的，可以探索各种新模型和数据集。和其他数字化工具不同，GAN总能给人惊喜，它可以创造出比滤镜或普通的风格迁移更特别的效果。　　CycleGAN　　应用于艺术生成的深度学习技术种类很多，常见的有以下几种：　

4、　GAN/DCGAN，也就是上文描述的经典生成对抗网络：　　　　神经网络迁移，将一张图像的风格迁移到另一张图像中：　　　　成对图像转换技术，例如Pix2Pix。这种技术需要含有源图像和目标图像的数据集进行训练：　　　　非成对的图像转换技术则不用对应数据集（例如CycleGAN）：　　　　计算机创作的很多画作都是由以上技术生成的，但是为什么最终我只选择了CycleGAN呢？简而言之，CycleGAN训练出来的网络可以具有其中一个数据集的形式（输入域）和另一个数据集的结构（目标域）。这一点非常重要。计算机视觉专家AlyoshaEfros表示，我们“仍然非常注重结构”。　　我第一

5、次用CycleGAN完成一个项目后，觉得它在模拟结构上太强大了，所以想将其用在生成艺术上。CycleGAN能让你处理高分辨率、小尺寸的图像数据集，并且训练模型的速度非常快！　　我第一项任务是将食物和饮料的照片转换成静物素描风格。每个数据集含有300到500张高分辨率图像。那一整个月，我几乎每天做各种实验，想把输入数据尺寸变小。然后我花了好几个小时对输出图像进行筛选，最终效果如图：　　　　带有鲜花的图片转换成了类似零食的东西，饮料的照片也变得非常有趣。我把最终结果给我的艺术导师看，她说：“我不懂计算机，但是你这个很有前景啊！加油干！”　　接着我就继续实验，随着我对自己的框架越

6、来越熟悉，在实验中我加入了不同数据集：　　　　实验建议　　用了几个月CycleGAN，我学到了以下几个小技巧：　　正如CycleGAN最初的论文中说的：“在训练数据上转换比在测试数据上更吸引人。”所以在很多情况下，我用训练数据的子集进行推理，我的目标并不是泛化，而是创造吸引人的艺术。　　通常，我在较大的数据集上开始对模型训练，然后在较小的子集上进行微调。这里就是一个例子：这些图片是在一个风景模型上生成的，之后再日本诗集封面的模型上微调、　　　　在模型训练的时候有必要查看仪表板。CycleGAN的偏好设置中可以设置展示频率，我设置的比较高。这一过程对我来说就像在冥想——盯着v

7、isdom的UI界面，随着损失函数的变化而呼气吐气。　　　　随着训练，结果变得越来越有趣，增加了检查点保存的频率。　　将实验中所有的参数保存下来，之后还能重新创造。　　在推理过程中，目标图像不会影响生成图像的样子。这并不意味着你不需要关心目标集中有什么图像。记住，你有两个生成器，不要忽略第二个。　　默认情况下，CycleGAN使用的实例规范化和batch尺寸都为1。但是一旦你学习了规则，就可以不受这个值的限制。如果你使用了批规范化，并且batchsize大于1怎么办？　　另一项值得运用的技术是CycleGANcha