浅析生成式对抗网络发展的内在逻辑.doc

《浅析生成式对抗网络发展的内在逻辑.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、浅析生成式对抗网络发展的内在逻辑　　生成式对抗网络（Generativeadversarialnetworks,GAN）是当前人工智能学界最为重要的研究热点之一。其突出的生成能力不仅可用于生成各类图像和自然语言数据，还启发和推动了各类半监督学习和无监督学习任务的发展。　　浅析生成式对抗网络发展的内在逻辑　　生成式对抗网络（Generativeadversarialnetworks,GAN）是当前人工智能学界最为重要的研究热点之一。其突出的生成能力不仅可用于生成各类图像和自然语言数据，还启发和推动了各类半监督学习和无监督学习任务的发展。　　浅析生成式对抗网络发展的内在逻辑　　生成式对

2、抗网络（Generativeadversarialnetworks,GAN）是当前人工智能学界最为重要的研究热点之一。其突出的生成能力不仅可用于生成各类图像和自然语言数据，还启发和推动了各类半监督学习和无监督学习任务的发展。　　　　本文概括了GAN的基本思想，并对近年来相关的理论与应用研究进行了梳理，总结了GAN常见的网络结构与训练方法，博弈形式，集成方法，并对一些应用场景进行了介绍。在此基础上，本文对GAN发展的内在逻辑进行了归纳总结。　　近年来，人工智能领域，特别是机器学习方面的研究取得了长足的进步。得益于计算能力的提高，信息化工具的普及以及数据量的积累，人工智能研究的迫切性和

3、可行性都大为提高。以Google等为代表的IT企业，利用其掌握的海量数据资源，结合新的硬件结构和人工智能算法，实现了一系列新突破和新应用，并获得了可观的收益。这些企业获得的成功进一步带动了机器学习的研究热度，使得人工智能的研究进入了一个新的高潮时期。　　在此次的人工智能浪潮中，以统计机器学习，深度学习为代表的机器学习方法是主要的研究方向之一。相比符号主义的研究方法，基于机器学习的人工智能系统降低了对人类知识的依赖，转而使用统计的方法从数据中直接习得知识。机器学习理论是一次重要的范式革命，使人工智能领域的研究重点从算法设计转向了特征工程与优化方法。　　一般而言，依据数据集是否有标记，

4、机器学习任务可被分为有监督学习（又称预测性学习，数据集有标记）与无监督学习（又称描述性学习，数据集无标记）[1]。随着数据收集手段，算力与算法的不断发展，在诸多监督学习任务中，如图像识别[2-3]，语音识别[4-5]，机器翻译[6-7]等，机器学习方法，特别是深度学习方法都取得了目前最好的成绩。　　然而，有监督学习需要人为给数据加入标签。这带来了两个问题：一是数据集采集后需要大量人力物力进行标注，大规模数据集的构建十分困难；二是对于许多学习任务，如数据生成，策略学习等，人为标注的方法较为困难甚至不可行。研究者普遍认为，如何让机器从未经处理的，无标签类别的数据中直接进行无监督学习，将

5、是AI领域下一步要着重解决的问题。　　在无监督学习的任务中，生成模型是最为关键的技术之一。生成模型是指一个可以通过观察已有的样本，学习其分布并生成类似样本的模型。深度学习的研究者在领域发展的早期就极为关注无监督学习的问题，基于神经网络的生成模型在神经网络的再次复兴中起到了极大的作用。在计算资源还未足够丰富前，研究者提出了深度信念网络（Deepbeliefnetwork,DBN）[8]，深度玻尔兹曼机（DeepBoltzmannmachines,DBM）[9]等网络结构，这些网络将受限玻尔兹曼机（RestrictedBoltzmannmachine,RBM）[10]，自编码机（Aut

6、oencoder,AE）[11]等生成模型作为一种特征学习器，通过逐层预训练的方式加速经网络的训练[12]。　　然而，早期的生成模型往往不能很好地泛化生成结果。随着深度学习的进一步发展，研究者提出了一系列新的模型。生成式对抗网络（Generativeadversarialnetworks,GAN）是生成式模型最新，也是目前最为成功的一项技术，由Goodfellow等在2014年第一次提出[13]。　　GAN的主要思想是设置一个零和博弈，通过两个玩家的对抗实现学习。博弈中的一名玩家称为生成器，它的主要工作是生成样本，并尽量使得其看上去与训练样本一致。另外一名玩家称为判别器，它的目的是

7、准确判断输入样本是否属于真实的训练样本。一个常见的比喻是将这两个网络想象成伪钞制造者与警察。GAN的训练过程类似于伪钞制造者尽可能提高伪钞制作水平以骗过警察，而警察则不断提高鉴别能力以识别伪钞。随着GAN的不断训练，伪钞制造者与警察的能力都会不断提高[14]。　　GAN在生成逼真图像上的性能超过了其他的方法，一经提出便引起了极大的关注。尤为重要的是，GAN不仅可作为一种性能极佳的生成模型，其所启发的对抗学习思想更渗透进深度学习领域的方方面面，催生了一系列新的研究方向与