人工神经网络课程nn03.ppt

《人工神经网络课程nn03.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章前馈型人工神经网络2.2自适应线性单元组成的网络10/1/20211马尽文2.2自适应线性单元组成的网络M-P模型感知机模型与学习算法多层感知机网络自适应线性单元与网络非线性连续变换单元组成的前馈网络BP算法10/1/20212马尽文2.2自适应线性单元组成的网络自适应线性单元(Adaline)是由Widrow于1961年提出来的一种自适应可调节的网络，可应用于信号处理中的自适应滤波，预测和模型识别。1.自适应线性单元的模型10/1/20213马尽文2.2自适应线性单元组成的网络在时刻，自适

2、应线性单元的权矢量为：对于输入样本和理想输出为：我们有：其中用于权值的学习，与目标值相对应；表示输入模式的二元分类结果。10/1/20214马尽文2.2自适应线性单元组成的网络学习方式采用LMS算法(在2.1节已经推导过）：Adaline的特点：可以根据外界的输入情况和要求的响应随时学习，十分灵活。2.用于非线性分割的自适应网络对于单层的Adaline网络，由于它的形式与感知机相同，因而它也只能解决一般线性分类问题。为了要达到非线性分类的目的，一般可采用下列两种方法：10/1/20215马尽文2.

3、2自适应线性单元组成的网络(i).辅助输入法对于输入向量为，扩展其二次或更高次项，将其改变为。例如，当时，可令，则这样便是一个二次曲线，使用圆或椭圆便可以解决非线性分类问题。这一方法也适应于感知机，即建立高阶感知机。缺点：随着维数和次数的增加，大量增加，增加了计算复杂度。10/1/20216马尽文2.2自适应线性单元组成的网络例如，对于二次扩展情况，则显然，随着的增大，急剧的增大，大大的增加了复杂度。但实际上还不能完全解决二元分类问题。10/1/20217马尽文2.2自适应线性单元组成的网络Q(i

4、i).Madaline网络：有多个Adaline单元组成的多层前馈网络，具有非线性分类能力。10/1/20218马尽文2.2自适应线性单元组成的网络一般多层前馈型Madaline网络结构信息的传输：通过模拟值进行学习，而向前传的是数字信号，因此功能上等同于多层感知机网络。10/1/20219马尽文2.2自适应线性单元组成的网络2.多层Madaline网络的学习算法多层Madaline网络的学习分为两部分：首先使用MRII算法计算每一层的输出要求，然后使用单层的LMS算法来完成每一层间的权学习，交替

5、进行最后得到正确的（或误差最小的）权值。(i).MRII算法基本思想是在网络中干扰最小的绝对值输出单元，从左向右改变的输出值符号，并保留误差较小的符号值，以得到各个对于一个样本的理想输出值。最后单元根据这一理想值采用LMS算法进行学习。10/1/202110马尽文2.2自适应线性单元组成的网络算法步骤：1）初始化网络的权，用一个随机值作为各个权的初始值。2）输入一个样本数量和希望输出，按层一步一步的计算出实际输出，并求出与希望输出的误差。3）根据最小干扰原则，从第一隐层开始，找出该层单元中模拟输出

6、最接近于0的那个单元，让其输出的数字量改变符号。若网络的误差减小，则接受这种改变，否则恢复原来的符号。10/1/202111马尽文2.2自适应线性单元组成的网络4）第一个单元训练完后，转入下一个单元，即模拟输出第二个接近0的单元，依然按上述规则进行训练。当所有单元训练完后，再按2个一组，3个一组，…，直到误差达到最小值结束（或全部组对训练完）。5）当上一层训练完后，再训练下一层，直到所有样本训练完毕。这样就得到了所有隐单元的希望输出值。6）对另一个新的样本采用同样的方法进行训练。7）通过LMS算法

7、对每一层进行学习，得到全部权的解。10/1/202112马尽文2.2自适应线性单元组成的网络(ii).单层AD的LMS算法分析实际中，单层AD的LMS算法采用下面形式：其中为迭代次数（时刻），为时刻的样本矢量，为时刻的误差，分别为当前和下一时刻的权矢量。当是双极矢量时，即分量为，这时有：为常数。10/1/202113马尽文2.2自适应线性单元组成的网络误差为：当权改变时，其误差改变为：故得：这说明，对网络的一个输入样本，误差的变化是缩小当前误差的倍。因此，选择可控制算法的收敛速度和稳定性。10/1

8、/202114马尽文2.2自适应线性单元组成的网络3.Adaline和Madaline的应用(i).在信号处理中的应用：Adaline自适应滤波器10/1/202115马尽文2.2自适应线性单元组成的网络系统建模对于线性系统（分量叠加型或延时叠加型），都可通过上述系统建模）10/1/202116马尽文2.2自适应线性单元组成的网络(b).噪声对削在滤波器的设计中，我们总希望将信号中的噪声去掉没，但实际中很难作到。这里可通过Adaline来进行噪声对消。10/1/202117马尽文2