资源描述：
《人工神经网络原理教学课件作者马锐第3章节课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第3章早期的自适应神经网络模型目录3.1感知机3.2自适应线性元件3.1感知机3.1.1感知机模型结构3.1.2感知机处理单元模型3.1.3感知机学习算法3.1.4感知机的局限性3.1.5感知机的收敛性3.1.1感知机模型结构(1)美国学者F.Rosenblatt于1958年在M-P模型和Hebb学习规则的基础上提出了具有自学习能力的单层感知机（Perceptron）模型感知机模型结构无反馈的层内无互连层次结构输入层（感知层）对应由0、1信号组成的输入模式各神经元无信息处理能力隐含层（连接层）输出层（反应层）3.1.1感知机模
2、型结构(2)各层神经元之间全互连单层感知机模型：无隐含层多层感知机模型：1或多层隐含层3.1.2感知机处理单元模型神经元j(j=1,2,…,q)接收n个输入信号，其输入向量为X=(x1,…,xi,…,xn)T，i=1,2,…,n从输入神经元xi至处理神经元j的连接权值向量为Wj=(w1j,…,wij,…,wnj)T神经元j的阈值为θj神经元j的输入加权和为输出采用阶跃函数，神经元j的输出yj为3.1.3感知机学习算法(1)设有n个输入层处理单元，q个输出层处理单元，m个学习模式对，输入模式为Xk=(x1k,x2k,...xnk
3、)T,期望输出模式为Dk=(d1k,d2k,...,dqk)T，k=1,2,...m，t表示学习次数，t=0为初始状态1)初始化：将输入层处理单元至输出层处理单元的各个连接权值wij(0)，i=1,2,...,n，j=1,2,...,q以及输出层各个处理单元的阈值θj(0)赋予[-1,+1]之间的随机值2)对任意一个学习模式对(Xk,Dk)计算输出层各个处理单元的实际输出3.1.3感知机学习算法(2)计算输出层各个处理单元的期望输出djk与实际输出yjk之间的误差调整输入层至输出层之间的各个连接权值以及输出层各个处理单元的阈值
4、，其中α和β称为学习速率，0<α<1，0<β<13)对m个输入学习模式对重复步骤2)，直至误差ejk趋于零或小于预先给定的误差限ε3.1.4感知机的局限性(1)线性可分与线性不可分如果两类样本可以用直线、平面或超平面分开，就称为线性可分，否则就称为线性不可分3.1.4感知机的局限性(2)感知机模型的局限性单层感知机模型仅对线性可分问题具有分类能力多层感知机模型只允许调节一层连接权感知机学习算法不能让隐含层处理单元具有学习能力感知机模型采用阈值型函数作为转移函数，最终只有0/1或-1/1这样离散的输出，限制了感知机模型的分类能力
5、3.1.5感知机的收敛性感知机的学习收敛定理如果样本输入函数线性可分，那么感知机模型在学习时经过有限次的迭代，一定可以收敛到正确的连接权值如果样本输入函数不是线性可分的，感知机模型的学习过程有可能出现振荡，从而不能保证一定收敛到正确的结果3.2自适应线性元件3.2.1ADALINE模型结构3.2.2ADALINE学习算法美国斯坦福大学的学者Widrow和Hoff于1960年提出自适应线性元件以连续线性模拟量作为输入3.2.1ADALINE模型结构(1)3.2.1ADALINE模型结构(2)在ADALINE模型中输入模式向量为X
6、k=(x0k,x1k,...xnk)T，其中x0k恒为1，用于控制阈值，k表示学习模式，k=1,2...m输入层至输出层的连接权向量为W=(w0,w1,...wn)T，其中w0=-θADALINE的模拟输出为ADALINE的二值输出使用符号函数作为转移函数3.2.1ADALINE模型结构(3)ADALINE模型采用有指导的学习方式只能进行线性划分MADALINE模型3.2.2ADALINE学习算法(1)学习算法为最小均方差（LeastMeanSquare，简称LMS）算法，也称为Widrow-Hoff算法LMS算法遵循误差平方
7、和最小化原则，反复对各个连接权进行修正LMS学习算法设有n个输入层处理单元，q个输出层处理单元，m个学习模式对，模拟输入向量为Xk=(x0k,x1k,x2k,...,xnk)T，x0k恒为+1，期望输出向量为Dk=(d1k,d2k,...,dqk)T，k=1,2,...m，t表示学习次数，t=0为学习初始状态3.2.2ADALINE学习算法(2)1)初始化：将输入层处理单元至输出层处理单元的连接权值wij(0)，i=0,1,2,...,n，j=1,2,...,q赋予[-1,+1]之间的随机值2)对任意一个学习模式对(Xk,Dk
8、)计算输出层各个处理单元的实际输出计算输出层各个处理单元的期望输出djk与实际输出yjk之间的误差3.2.2ADALINE学习算法(3)调整输入层至输出层之间的各个连接权值以及输出层各个处理单元的阈值，其中的α称为学习速率，0<α<1，用于控制连接权值的调整速度3)对m个输入
