神经网络数学基础

《神经网络数学基础》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、神经网络的数学基础1信号和权值向量空间将神经网络的输入、输出以及权值矩阵的行作为向量看待是非常有好处的。这些都是中的向量。是标准的n维欧基里德空间2线性向量空问3如图1所示。显然它是一个向量空间，并且对于向量加和标量乘全部满足10个条件。的子集又将如何?考虑图2中方框内的区域x。向量x和y在区域内，但是x+y却可能不在的区域内。从这个例子可以看出，任何限定边界的集合都不可能是向量空间。所有经过坐标轴原点的直线都满足上述10个条件。但是，如果直线不经过坐标轴的原点，那么至少这种直线不能满足第4个条件。4如果已经习惯于将向量看作是一列数字，那么这两个元素的确是奇怪的向量。但是请记

2、住：一个集合只要满足上述10个条件，就可以被认为是一个向量空间。例如考虑最高阶数小于或等于2的多项式集合此集合的两个元素是：5由于两个连续函数的和仍然是一个连续函数，一个标量乘以一连续函数仍然是一个连续函数，所以集合也是一个向量空间这个集合与前面讨论过的向量空间不同，它是无限维的。6线性无关线性无关与之相反，如果当且仅当每个均等于零，那么称其是一组线性无关的向量。注意这些定义实际上等价于：如果一个向量集合是无关的，那么这个集合中的任何向量都不能表示成该集合中其他向量的线性组合。7生成空间X的基集是由生成它的线性无关的向量所组成的集合。任何基集包含了生成空间所需要的最少个数的向

3、量。X的维数就等于基集中元素的个数。任何向量空间都可以有多个基集，但每一个基集都必须包含相同数目的元素。89内积10范数11正交性12向量展开式13互逆基向量如果需要向量展开式，而基集又不是正交的，那么就必须引人下列等式所定义的互逆基底：14151617181920由此可以看出，当要用一列数字表示一个一般向量时，必须知道其向量展开式所采用的基集是什么。在如果没有特殊说明，那么假设所采用的都是标准基集。21Gram矩阵只是向量个数比这些向量的原始空间中向量个数要少(R4空间中的3个向量)。在这种情况下，由这3个向量所构成的矩阵不再是一个方阵，所以不能计算其行列式的值。可以采用称

4、为Gram的方法，这种方法按可以求出一个矩阵的行列式，矩阵的第i行第j列的元素是向量i和向量j的内积。这些向量是线性相关的当且仅当G矩阵的行列式为零。2223神经网络中的线性变换诸如特征值、特征向量和基变换等基本概念，这些概念对理解一些诸如性能学习(反传学习算法)以及Hopfield网络的收敛特性等神经网络关键课题是十分重要的。24线性变换变换：一个变换由三部分组成25旋转变换两个向量之和的旋转伸缩向量的变换26矩阵表示可以证明两个有限维向量空间之间的任何线性变换都可以用一个矩阵来表示(这和在有限维的向量空间中的任何一个向量可以用一个数列来表示是一样的)。请记住：与一般向量的

5、数列表示形式并不是惟一的类似，一个变换的矩阵表示也不是惟一的。如果改变定义域或值域的基集，那么变换的矩阵表示也会随之改变。27以旋转变换为例，来讨论变换的矩阵表示，看看如何找到该变换的矩阵表示。28可以看到展式中的两个系数就是的矩阵中的第一列。29从展式中可以得到矩阵表示中的第二列。所以，完整的矩阵表示可以由下式：30特征值和特征向量考虑一个线性交换：：(定义域和值域相同)。分别称满足下式的那些不等于0的向量和标量分别是特征向量和特征值：请注意，特征向量实际上并不是一个真正的向量，而是一个向量空间。所以，给定变换的一个特征向量表示一个方向，当对任何取该方向的向量进行变换时，它

6、们都将继续指向相同的方向，仅仅是按照特征值对向量的长度进行缩放。31如果某个变换有n个不同的特征值，则可以保证得到该变换n个线性无关的特征向量，因此特征向量组成变换的向量空间的一个基集。32性能曲面和最优点介绍的是一类称为性能学习的神经网络训练的基础知识。神经网络有几种不同类型的学习规则，如联想学习(Hebb学习)和竞争学习。性能学习是一类重要的学习规则，其目的在于调整网络参数以优化网络性能。主要目的是研究性能曲面，并确定性能曲面存在极大点和极小点的条件。33性能优化这种优化过程分两个步骤进行。第一步是定义“性能”的含义。换言之，需要找到一个衡量网络性能的定量标准，即性能指数

7、，性能指数在网络性能良好时很小，反之则很大。优化过程的第二步是搜索减小性能指数的参数空间(调整网络权值和偏置值)。34泰勒级数假定性能指数是一个解析函数，它的各级导数均存在。3536向量的情况神经网络的性能指数并不仅是一个纯量的函数，它是所有网络参数(各个权值和偏置值)的函数，参数的数量可能是很大的。因此，需要将泰勒级数展开形式扩展为多变量形式。373839方向导数4041最大斜率在什么方向上?当方向向量与梯度的内积最大时斜率最大，故当方向向量与梯度同向时会出现最大斜率(注意方向向量的长度对此没有影响，