人工神经网络原理教学课件作者马锐第2章节课件

《人工神经网络原理教学课件作者马锐第2章节课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章人工神经网络基础目录2.1生物神经系统2.2人工神经元模型2.3M-P模型2.4人工神经网络的互连结构2.5人工神经网络的学习2.1生物神经系统2.1.1生物神经元的结构2.1.2生物神经元的功能细胞体：生物神经元的主体细胞核细胞质细胞膜膜电位：细胞膜内外电位差轴突：细胞的输出端树突：细胞的输入端突触：轴突与树突的接口2.1.1生物神经元的结构2.1.2生物神经元的功能时空整合功能兴奋与抑制状态脉冲与电位转换神经纤维传导速度突触延时和不应期学习、遗忘和疲劳2.2人工神经元模型2.2.1人工神经

2、元的形式化描述2.2.2转移函数2.2.1人工神经元的形式化描述(1)人工神经元的功能加权：对每个输入信号进行处理以确定其强度求和：确定所有输入信号的组合效果转移特性：确定其输出人工神经元模型设神经元j的输入向量为，其中xi表示第i个神经元的输出，n表示输入神经元的个数。输入神经元节点连接到神经元节点j的加权向量为，其中wij表示从第i个输入神经元节点到节点j的加权值。神经元j的阈值为θj，如果用x0=1的固定偏置输入节点表示阈值节点，则它与神经元j之间的连接强度为w0j=-θj。2.2.1人工神经

3、元的形式化描述(2)2.2.1人工神经元的形式化描述(3)神经元j的输入加权和为：神经元j的输出状态为：如果向量Xj和Wj分别包含了x0和w0j，则神经元j的输出为2.2.2转移函数(1)2.2.2转移函数(2)线性函数线性函数非线性分段函数阈值函数阶跃函数符号函数2.2.2转移函数(2)非线性函数（S型函数）Sigmoid函数双曲正切函数概率型函数神经元的输入与输出之间的关系不确定，使用随机函数描述输出状态为0或1的概率2.3M-P模型对n个互连神经元中的第j个神经元，其输入向量为，其中xi表示神

4、经元的状态，其取值为0或1，分别代表神经元的抑制和兴奋状态各个输入神经元节点i到神经元节点j的加权向量为，其中wij表示输入神经元节点i与神经元节点j之间的连接权神经元j的阈值为θj，神经元j的输入加权和sj为神经元j的转移函数为阶跃函数，输出状态为2.4人工神经网络的互连结构(1)无反馈的层内无互连层次结构单纯型层次结构：输入层/隐含层/输出层eg：BP模型有反馈的层内无互连层次结构无反馈的层内互连层次结构eg：自组织神经网络有反馈的互连非层次结构相互结合型结构，网络中的任意两个神经元之间都可能存

5、在连接eg：Hopfield网络，Boltzmann机2.4人工神经网络的互连结构(2)2.5人工神经网络的学习2.5.1人工神经网络的学习方式2.5.2基本的神经网络学习规则2.5.1ANN的学习方式人工神经网络的学习过程网络连接权值的调整过程人工神经网络的学习方式（评价标准）有指导的学习评价标准由外部提供（期望输出）无指导的学习评价标准由网络自身提供灌输式的学习：通过设计得到网络连接权2.5.2基本的ANN学习规则Hebb学习规则纠错学习规则相关学习规则随机学习规则胜者为王学习规则内星和外星学习

6、规则Hebb学习规则调整神经元i到神经元j之间的连接权值wij的方法是：若第i个神经元与第j个神经元同时处于兴奋状态，则它们之间的连接应当加强Hebb学习规则与“条件反射”学说一致，已经得到了神经细胞学说的证实纠错学习规则应用在采用有指导的学习方式的人工神经网络模型中根据来自输出节点的外部反馈(期望输出)调整连接权，使得网络输出节点的实际输出与外部的期望输出一致学习训练时需要大量的训练样本，因此训练时的收敛速度较慢部分纠错学习规则存在“局部极小值”问题，不能保证一定收敛于全局最小点相关学习规则仅根据

7、相互连接的神经元的激活水平调整连接权经常应用在能够实现自联想记忆的人工神经网络模型中，用于实现执行特殊记忆状态的死记硬背式学习随机学习规则随机学习规则利用了随机过程、概率和能量的关系调整连接权网络并不基于某种确定性算法调整连接权值，而是按照某种概率分布进行处理可能使网络避免陷入局部极小点而到达全局最小点胜者为王学习规则一种竞争学习规则，应用在采用无指导的学习方式的人工神经网络模型中在神经网络的竞争层，对一个特定输入模式X，只有具有最大加权和的神经元j才能够获胜胜者为王学习规则调整获胜神经元输入连接权

8、值的结果就是使其进一步接近当前的输入模式X内星和外星学习规则内星学习规则用于训练内星节点响应一个特定的输入模式X外星学习规则用于调整与外星节点j相连的外星输出连接权Tj，使其接近期望的输出模式Y