BP神经网络与实例.ppt

《BP神经网络与实例.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、人工神经网络ArtificialNeuralNetwroks-----ANN什么是人工神经网络？T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体作出交互反应。”人工神经网络目的与意义争取构造出尽可能与人脑具有相似功能的计算机，即ANN计算机。研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。神经元当神经细胞透过神经突触与树突从其它神经元输入脉波讯号后，经过细胞体处理，产生一个新的脉波讯号。如果脉波讯号够强，将产生一个约千分之一秒100毫伏的脉波讯号

2、。这个讯号再经过轴突传送到它的神经突触，成为其它神经细胞的输入脉波讯号。如果脉波讯号是经过兴奋神经突触（excitatorysynapse），则会增加脉波讯号的速率；相反的，如果脉波讯号是经过抑制神经突触（inhibitorysynapse），则会减少脉波讯号的速率。因此，脉波讯号的速率是不仅取决于输入脉波讯号的速率，还取决于神经突触的强度。而神经突触的强度可视为神经网路储存信息之所在，神经网路的学习即在调整神经突触的强度。空间整合、时间整合空间整合：同一时刻来自不同神经元的输入信号，作用于神经元的不同突触，形成的突触电位将会代数相加。时间整合：神经元对不同时刻通过同一个突触输入的神经

3、脉冲有代数求和功能。阈值电位神经元对其他神经元的激励呈现非线性响应，如果膜电位高于阈值电位，则该神经元进入兴奋状态，产生一个尖峰脉冲，如果小于，则进入抑制状态，此时没有脉冲输出。神经网络研究的发展(1)第一次热潮(40-60年代未)1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机。(2)低潮(70-80年代初):1969年，MIT学者M.Minsky和S.Papert编写了影响巨大的《Perceptron》一书，指出单层的感知机只能用于线性问题求解。(3)第二次热潮1982

4、年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络.他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质.1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届学术会议。人工神经元数学模型其中x＝（x1，…xm）T输入向量，y为输出，wi是权系数（连接强度），θ为阈值，f（X）是激活函数。BP神经网络Rumelhart，McClelland于1985年提出了BP网络的误差反向传播BP(BackPropagation)学习算法BP算法基本原理利用输出后

5、的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。J.McClellandDavidRumelhartBP神经网络模型三层BP网络BP算法是由两部分组成：信息的正向传递与误差的反向传播。神经网络的学习X1：衣服X3：面部特征X2：身高01W1W2W3增加权值减小权值识别系统学习本质学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整BP网络的标准学习算法-算法思想核心思想：将输出误差以某种形式通过隐层向输入层逐层反传将误差分摊给

6、各层的所有单元－－－各层单元的误差信号修正各单元权值学习类型有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。有导师的学习无导师的学习BP网络的标准学习算法-学习过程正向传播：输入样本－－－输入层－－－各隐层－－－输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示－－－－修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止

7、BP网络的标准学习算法网络结构输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;BP神经网络模型激活函数必须处处可导一般都使用S型函数使用S型激活函数时BP网络输入与输出关系输入输出BP网络的标准学习算法输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：BP网络的