深度时空推理网络中相变现象和其抗噪性能探究

《深度时空推理网络中相变现象和其抗噪性能探究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、深度时空推理网络中相变现象和其抗噪性能探究　　摘要：在人工智能领域中有很多问题存在着相变现象，而相变现象与问题本身结构有很大关系。通过实验发现深度时空推理网络在处理带有高斯噪声的数据时，网络的识别率会随着噪声的程度增加发生相变现象，即从90%以上突然骤减为0。对这种深度学习神经网络进行网络结构本身进行研究，发现当参数值在一定范围时，这种深度学习神经网络的识别率会发生相变现象，分析原因，提出一种方法来提高深度时空推理网络的抗噪性能，并提出有待解决的问题。关键词：DeSTIN网络；深度学习；相变；神经网络；高斯噪声中图分类号：TP391文献标识码：A文章编号：1009-30

2、44（2014）04-0829-071介绍近年来，随着深度学习在图像识别、语音识别和文本识别等领域表现出很好的实验效果，深度学习在人工智能领域有了巨大的发展。但是，深度学习在动态人体行为识别领域的能力还有待加强。如何处理时空图像信息成为了深度学习领域一个新的发展方向。2009年，一种新的深度学习系统——DeSTIN被提出[1-2]。12相变现象是物质本身的状态转化的物理现象，例如，水有气态、液态和固态三种形态，三种状态之间的转化过程，即为相变现象，它反映了物质两边和质变的本质。在计算机领域之中，相变现象也是普遍存在的。例如，在合取范式的可满足性问题（SAT问题）中的相变

3、现象[3-4]，存在一个临界点使得SAT问题发生可解到无解的转变。在不同的问题中，相变现象的刻画方式和呈现出的结果也是不尽相同。2002年，HuepeC等人在研究布尔网络中处理噪声对于网络性能的影响，并提出以下结论：在权值固定的神经网络和根据概率密度函数进行权值调节的神经网络的相变点是不同的[5]。2012年，PeixotoTP等人根据布尔网络的优化函数，并作为基因调控的概念模型，抗噪声的选择压力的鲁棒性对布尔网络结构进化的影响[6]。2DeSTINDeSTIN是一种新的深度学习系统，该系统融合了无监督学习和贝叶斯推理。DeSTIN系统的架构是一种层次结构，每一层由具有

4、相同结构的节点组成。DeSTIN网络的输入是采用图像像素的观察值。在隐含层中，每一层的节点都包含着一定数量的聚类中心，DeSTIN网络在聚类的过程中DeSTIN网络采用winnertake12all的方法来更新聚类中心。这样通过每层的聚类传递，从而形成这样的一个结构，每个节点输出在其所在层的信念值，整个DeSTIN网络会从这些信念值中提取出数据本身所包含的某种特征或模式[7-8]。DeSTIN网络的结构如图1所示，网络每层都被分为若干个4*4的像素区域，第N-1层的一个4*4的像素区域连接着第N层的一个节点，第N层的四个节点再组成一个4*4的像素区域连接着第N+1层的一

5、个节点，DeSTIN网络通过这样一种连接方式进行数据的传输。图1DeSTIN网络结构示意图DeSTIN网络中的每一层中的每个节点都是一个聚类区域，每个节点都包含一定数量的聚类中心，计算输入数据与每个聚类中心的马氏距离，进而可以找到马氏距离最小的那个聚类中心，该聚类中心会被作为优胜聚类中心（winningcentroid）。而每一个聚类区域的聚类中心数目是根据实际情况随机变动的。该聚类中心更新的规则按照公式（1）进行。3不同噪声程度下DeSTIN网络中的相变现象3.1DeSTIN网络的在线聚类算法在DeSTIN网络的每层中都有若干个4*4的聚类区域，在整个网络初始化时，给

6、定每个聚类区域中存在聚类中心的数目，在每层聚类之前，网络会初始化指定每个聚类中心的位置，然后根据观察值的分布，按照公式（2）调整聚类中心的位置。12公式（1）中的[x]即为最后确定时，聚类中心的位置，[o]为图像的观察值，[α]为调整聚类中心更新速度的学习率。在聚类的过程中，DeSTIN网络采用了winnertakeall的工作原理，即在计算观察值到当前聚类中心的距离时，只找与聚类中心距离最短的像素，根据这个距离最短的像素的位置，进行聚类中心的调整。但是，初始化的类聚中心并不是都会很理想，有时会产生一些空闲的类聚中心。为了解决这些问题，DeSTIN网络采用空闲聚类的方法

7、和伪逆熵值计算的方法。解决空闲聚类的策略是，设定一个参数[ψx]，根据公式（3）来调整空闲聚类中心的位置。随着聚类中心的状态转移，若空闲聚类中心没有得到调整，那么参数[ψx]的值就会逐渐增大，而空闲聚类中心聚类某个像素的距离就会缩短，直到某个像素距离空闲聚类中心的距离比到达其他聚类中心短时，则空闲聚类中心的位置就会发生更新，那么该问题也就解决了。在更新聚类中心的过程中，要保证所有的像素都能够全部合理的分配到每个聚类中心周围。用伪逆熵的方法来保证每一层像素都得到合理的聚类。那么，伪逆熵的计算公式如下：12其中，[vi]表示该像素属于第[i]