深度学习进阶笔记之六 深入理解fast neural style

《深度学习进阶笔记之六 深入理解fast neural style》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、记之六

2、深入理解FastNeuralStyle引言TensorFlow是Google基于DistBelief进行研发的第二代人工智能学习系统，被广泛用于语音识别或图像识别等多项机器深度学习领域。其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow代表着张量从图象的一端流动到另一端计算过程，是将复杂的数据结构传输至人工智能神经网中进行分析和处理的过程。TensorFlow完全开源，任何人都可以使用。可在小到一部智能手机、大到数千台数据中心服务器

3、的各种设备上运行。『机器学习进阶笔记』系列将深入解析TensorFlow系统的技术实践，从零开始，由浅入深，与大家一起走上机器学习的进阶之路。前面几篇文章讲述了在ComputerVision领域里面常用的模型，接下来一段时间，我会花精力来学习一些TensorFlow在ComputerVision领域的应用，主要是分析相关pape和源码，今天会来详细了解下fastneuralstyle的相关工作，前面也有文章分析neuralstyle的内容，那篇算是neuralstyle的起源，但是无法应用到实际工作上，为啥呢？它

4、每次都需要指定好contentimage和styleimage，然后最小化contentloss和styleloss去生成图像，时间花销很大，而且无法保存某种风格的model，所以每次生成图像都是训练一个model的过程。而fastneuralstyle中能够将训练好的某种style的image的模型保存下来，然后对contentimage进行transform，当然文中还提到了imagetransform的另一个应用方向：Super-Resolution，利用深度学习的技术将低分辨率的图像转换为高分辨率图像，现

5、在在很多大型的互联网公司，尤其是视频网站上也有应用。Paper原理几个月前，就看了NeuralStyle相关的文章 深入理解NeuralStyle，NeuralAlgorithmofAritisticStyle 中构造了一个多层的卷积网络，通过最小化定义的contentloss和styleloss生成一个结合了content和style的图像，很有意思，而PerceptualLossesforReal-TimeStyleTransferandSuper-Resolution，通过使用perceptualloss来

6、替代per-pixelsloss使用pre-trained的vggmodel来简化原先的loss计算，增加一个transformNetwork，直接生成Contentimage的style版本，如何实现的呢，请看下图，容我道来：整个网络是由部分组成：imagetransformationnetwork、lossnetwrok；ImageTransformationnetwork是一个deepresidualconvnetwrok，用来将输入图像（contentimage）直接transform为带有style的图

7、像；而lossnetwork参数是fixed的，这里的lossnetwork和 ANeuralAlgorithmofArtisticStyle 中的网络结构一致，只是参数不做更新（PS：这里我之前可能理解有点小问题—— neuralstyle的weight也是常数，不同的是像素级loss和perloss的区别，neuralstyle里面是更新像素，得到合成后的照片），只用来做contentloss和styleloss的计算，这个就是所谓的perceptualloss，作者是这样解释的，为ImageClassifi

8、cation的pretrained的卷积模型已经很好的学习了perceptual和semanticinformation（场景和语义信息），所以，后面的整个lossnetwork仅仅是为了计算contentloss和styleloss，而不像 ANeuralAlgorithmofArtisticStyle 做更新这部分网络的参数，这里更新的是前面的transformnetwork的参数，所以从整个网络结构上来看输入图像通过transformnetwork得到转换的图像，然后计算对应的loss，整个网络通过最小化这

9、个loss去update前面的transformnetwork，是不是很简单？loss的计算也和之前的都很类似，contentloss：GramMatrix是一个很重要的东西，他可以保证y^hat和y之间有同样的shape。Gram的说明具体见paper这部分，我这也解释不清楚，相信读者一看就明白：相信看到这里就基本上明白了这篇paper在fastneuralstyle是