神经网络理论与应用(基础BP).ppt

《神经网络理论与应用(基础BP).ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、神经网络理论与应用第一部分生物神经元神经元电位活动神经元结构突触的类型各种神经细胞神经元之间的联系第二部分人工神经元与神经网络常用的激活函数人工神经网络模型(a)简单的前向神经网络(b)具有反馈的前向神经网络(c)具有层内互联的神经网络人工神经网络发展历史几种常见的神经网络神经网络的学习过程模仿人类的学习过,神经网络的学习可以分为:(1)有导师学习(有监督式学习):(2)无导师学习(无监督式学习)(3)强化学习有导师学习无导师学习对于无监督学习,由于没有现成的信息作为响应用的校正,学习是靠对信息的观察来实现的。这种学习常用于输入模式的分类上。学习规则权值修正的一般表达式

2、Hebb规则举例感知器规则举例Delta学习规则第三部分模式前向传输误差反向传播输出层权值,阈值的计算隐层权值,阈值的计算BP算法的缺点BP网络的两种学习方式1.串行方式(Sequentialmode):也称为在线方式或随机方式.每个样本(ExampleorPattern)经过前向计算后,都要根据其误差修改权值.2.批方式(Batchmode):当样本集中的所有样本都经过前向计算后,再根据误差进行权值修正.每修正一次称为(Epoch)BP网络的应用举例-图形识别问题BP算法总结1.隐层到输出层的权值和阈值校正其中:Yj为隐层第j个神经元的输出2.输入层到隐层的权值和阈值

3、校正其中:xi为输入层第i个神经元的输出BP网络的改进方案一、从BP算法可以知道,隐层与输出层权值与阈值的修正均需要用到隐层的神经元输出yj,如果隐层的输出yj接近0或1都会使权值的修正不起作用,因此,为了加快收敛过程,可以限制S函数的输出:即当:yj<0.01时,可以取:yj=0.01yj>0.99时,可以取yj=0.99(3)(4)(5)