最新第4篇-神经计算教学讲义PPT.ppt

《最新第4篇-神经计算教学讲义PPT.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第4篇-神经计算4.1人工神经网络基础人工神经网络是人脑及其活动的一个理论化的数学模型，它由大量的处理单元通过适当的方式互连构成，是一个大规模的非线性自适应系统。是一个并行、分布处理结构，它由处理单元及称为连接的无向信号通道互连而成。4.1.1人工神经元网络模型适用性人工神经网络擅长于处理适用形象思维的问题。主要包括两个方面：1）对大量的数据进行分类，并且只有较少的几种情况。2）必须学习一个复杂的非线性映射。ANN类型与功能4.1.3人工神经元模型基本构成激活函数M-P模型基本构成激活函数神经元在获得网络输入后，它应该给出适当的输出。按照生物神经元的特性，每个神经元有一个

2、阈值，当该神经元所获得的输入信号的累积效果超过阈值时，它就处于激发态；否则，应该处于抑制态。为了使系统有更宽的适用面，希望人工神经元有一个更一般的变换函数，用来执行对该神经元所获得的网络输入的变换，这就是激活函数，也可以称之为激励函数、活化函数，用f表示：式中，o是该神经元的输出。由此式可以看出，此函数同时也用来将神经元的输出进行放大处理或限制在一个适当的范围内。典型的激活函数有线性函数、非线性斜面函数、阶跃函数和S形函数等4种。M-P模型4.1.4网络拓扑结构单级网多级网循环网简单单级网多级前馈网4.1.5人工神经网络的训练人工神经网络最具有吸引力的特点是其学习能力。人

3、工神经网络的学习过程就是对它的训练过程。所谓训练，就是在将由样本向量构成的样本集合（简称为样本集、训练集）输入到人工神经网络的过程中，按照一定的方式去调整神经元之间的连接权，使得网络能将样本集的内涵以连接权矩阵的方式存储起来，从而使得在网络接受输入时，可以给出适当的输出。从学习的形式来看，一种是有导师学习，另一种是无导师学习，后者较为低级。无导师学习有导师学习4.2感知器感知器是最早被设计并被实现的人工神经网络。学习算法线性不可分问题感知器结构图4.2.1学习算法离散单输出感知器训练算法离散多输出感知器训练算法连续多输出感知器训练算法离散单输出感知器训练算法离散多输出感知

4、器训练算法连续多输出感知器训练算法4.3BP神经网络Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。DavidRumelhartJ.McClelland4.3.1BP神经网络模型三层BP网络4.3.1BP神经网络模型激活函数必须处处可导一般都使用S型函数使用S型激活函数时BP网络输入与输出关系输入输出4.3.1BP神经网络模型输出的导数根据S型激

5、活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内4.3.2BP网络的标准学习算法学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。4.3.2BP网络的标准学习算法-算法思想学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播误差的反向传播将误差分摊给各层的所有单元－－－各层单元的误差信号修正各单元权值4.3.2BP网络

6、的标准学习算法-学习过程正向传播：输入样本－－－输入层－－－各隐层－－－输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示－－－－修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止4.3.2BP网络的标准学习算法网络结构输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;4.3.2BP网络的标准学习算法输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神

7、经元的阈值:样本数据个数:激活函数:误差函数：4.3.2BP网络的标准学习算法第一步，网络初始化给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值和最大学习次数M。第二步,随机选取第个输入样本及对应期望输出4.3.2BP网络的标准学习算法第三步，计算隐含层各神经元的输入和输出4.3.2BP网络的标准学习算法第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。4.3.2BP网络的标准学习算法第五步，利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经