信号和权值向量空间

《信号和权值向量空间》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2021/7/241第5章信号和权值向量空间5.1目标从前面两章可以看出：将神经网络的输入，输出以及权值矩阵的行作为向量看待是非常有好处的。这一章将详细研究这些向量空间，并且复习一些对分析神经网络十分有用的向量空间性质。这里首先将从一般的定义开始，并将这些定义应用于特定的神经网络问题中。2021/7/2425.2理论和实例线性代数是理解神经网络所必需的数学知识的核心。本章将复习在神经网络中有关向量空间的一些基本概念（比如内积、正交性）。2021/7/2435.2.1线性向量空间定义：一个线性向量空间X是一组定义在标量域F上且满足如下条件的

2、元素集合（向量）：一个称为向量加的操作定义为：如果（x是X的一个元素）和那么x+y=y+x。(x+y)+z=x+(y+z)存在唯一一个称为零向量的向量，有：x+0=x2021/7/244对于每一个向量，在X中只有唯一一个被称为-x的向量，满足x+(-x)=0。一个称为向量乘的操作定义为：对所有的标量，以及所有的向量，有。对于任意的和标量1，有1x=x对于任意两个标量和，以及任意的，有。2021/7/2452021/7/246二维欧基里德空间及其子集如图5-1所示的二维欧基里德空间，全部满足上述10个条件。的子集，如图5-2方框内的区域X，

3、不属于向量空间。的子集，如图5-3中的直线X。可以证明直线上所有的点均满足上述的10个条件。但是，如果直线不经过坐标轴的原点，那么至少这种直线不能满足第4个条件。2021/7/247例：请证明一条经过原点的直线上点的集合构成了一个向量空间。2021/7/248除了标准的欧基里德空间之外，还有许多其他的集合同样满足向量空间的10个条件。例如最高阶数小于或者等于2的多项式集合P2。此集合的两个元素是：2021/7/249多项式集合P2是否满足是向量空间呢？若将两个阶数小于或等于2的多项式相加，其结果仍然是一个阶数小于或等于2的多项式，集合P2

4、满足条件1。将一个标量和一个多项式相乘，不会改变其阶数，集合P2满足条件6。显然，验证集合P2满足上述的10个条件并不是一件难事。2021/7/24105.2.2线性无关线性相关如果对n个向量而言，存在n个标量这n个标量中，至少有一个是非零的，满足（5.4）那么是线性相关的。线性无关如果对n个向量，当且仅当每个等于零的情况下，上式才成立，那么称是线性无关的。2021/7/2411线性无关的实例，比如第三章中的模式识别问题。两个标准模式（橘子和苹果）由如下两个向量表示：2021/7/2412在式（5.6）只有当时成立。所以线性无关。再考虑阶

5、数小于等于2的多项式空间中的向量。设该空间中的三个向量分别是：如果令，那么所以，这三个向量线性相关。2021/7/24135.2.3生成空间2021/7/2414维数：一个向量空间的维数是由生成该空间所需要的最少向量个数决定的。基集：X的基集是由生成X的线性无关的向量所组成的集合。任何基集包含了生成空间所需要的最少个数的向量。以线性空间P2为例，该空间的一个可能的基是任何一个阶数小于或等于2的多项式都可以通过这三个向量的线性组合表示。但请注意，P2中的任意三个线性无关的向量都可以组成该空间的一个基。比如该空间的基也可以是：2021/7/2

6、4155.2.4内积内积是许多神经网络操作的基础。这里将给出内积的一般定义。2021/7/2416上述对于内积的定义并不是唯一的内积形式。比如，对定义在[0，1]区间内所有连续函数的集合C[0，1]而言，下面给出的标量函数（5.12）就是它的一种内积形式。2021/7/24175.2.5范数范数是一个基于向量长度概念的操作。如果一个标量函数满足以下一些性质，则称其为范数：实际上，有很多函数都可以满足上述条件。一个普通的范数是基于内积按如下方式定义的：2021/7/24182021/7/24195.2.6正交性2021/7/2420Gram

7、-Schmidt正交化方法线性无关和正交性是相互联系的。可以将线性无关向量集合转换为一个正交向量集合，而且两者所生成的向量空间是相同的。这个标准的转换过程被称为Gram-Schmidt正交化方法。2021/7/24212021/7/24222021/7/24232021/7/24245.2.7向量展开式2021/7/24252021/7/24262021/7/24272021/7/24282021/7/24292021/7/24302021/7/24312021/7/24322021/7/2433