《人工神经网络》PPT课件.ppt

《《人工神经网络》PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、人工神经网络及其应用第三讲神经网络的学习规则和感知器主讲人：方涛第三讲神经网络的学习规则和感知器主讲内容◆§3.1机器学习与神经网络学习◆§3.2几种神经网络学习规则◆§3.3感知器学习规则、算法以及收敛性定理◆§3.4本讲问题本章目的：①介绍各种学习算法的数学原理、分析学习性质；②说明算法的使用。（不讲有关的算法的生理学、生物学原理）第三讲神经网络的学习规则和感知器┃主讲人方涛§3.1机器学习与神经网络学习3.1.1机器学习3.1.2神经网络学习及其分类第三讲神经网络的学习规则和感知器┃主讲人方涛3.1.1机器学习机器学习━━AI的一个分支学科§3.1机器学习与神经网络学

2、习人类学习行为（客观世界）→研究归纳、类比等基本方法→获取各种知识和技能。机器学习→了解人类的各种学习过程→建立各种学习模型→赋予机器的学习能力。有了学习能力，才能不断自我完善，自我校正，自动获取和发现新的知识……没有机器学习的系统不会是一个真正的智能系统。机器学习目前已经有：事例学习、遗传学习、类比学习……第三讲神经网络的学习规则和感知器┃主讲人方涛§3.1机器学习与神经网络学习机器学习的发展历史：①20世纪50年代中期研究没有任何初始知识的通用学习系统，尤其是神经网络系统。主要特点：数值表示和参数调整，比如感知机、生物进化过程模拟等。AI：符号表示和启发式方法，即偏于模

3、式识别②20世纪60年代初期概念学习和语言获取。主要特点：符号表示（已成为AI主要方法）③20世纪70年代中后期专家系统和知识工程形成，对知识尤为关注，兴盛时期。④20世纪80年代中后期源于神经网络的重新兴起，使非符号的神经网络研究和符号学习得以深入开展。第三讲神经网络的学习规则和感知器┃主讲人方涛§3.1机器学习与神经网络学习机器学习的发展历史：⑤20世纪90年代有限样本统计理论线性空间表示,Vapnik：SVM（1991）;弱学习定理（1990）;Freund：AdaBoost（1996）⑥21世纪近10年----流形学习研究热局部线性嵌入(LLE)等距映射(Isoma

4、p)拉普拉斯特征映射(LaplacianEigenmap)……第三讲神经网络的学习规则和感知器┃主讲人方涛17对象的层次性流形（HML）构造高维特征空间的层次性流形学习◆流形学习降维研究目标高维特征低维嵌套的非线性映射，提供目标特性低维表达的有效方式LLE、ISOMap、LaplacianEigenmap、HessianEigenmap等多子流形◆多类别高分影像对象广泛存在大类、小类等层次性结构单一结构的流形难以更准确进行非线性映射◆层次性流形（HML）不同类别、不同层次的多个子流形父流形与子流形间关系，通过自下而上“共享特征”实现层次性邻及矩阵18◆流形学

5、习降维广义回归神经网络GRNN解决out-of-sample通过层次性流形（HML）降维，解译精度比单一流形性能显著提高高维特征空间的层次性流形学习该方法得到了国际同行评价“Thisisacompletelyvalidapproachfromapragmaticperspective,andcanevenleadtobetterresults”§3.1机器学习与神经网络学习3.1.2神经网络学习及其分类人工神经网络的主要学习算法：3.1.2.1有无导师的学习方式与机器学习类似：事例学习、无导师学习、死记式学习…。主要分为：①监督学习（有导师学习）依据期望值与实际网络输出

6、值之差来调整连接权，因此需要有导师来提供期望值。将训练样本的数据加入到网络输入端，由期望输出与网络输出得到误差信号，由此控制连接权的调整，多次训练使得连接权收敛到某个确定值。反传网络、感知器、LVQ算法、广义规则……第三讲神经网络的学习规则和感知器┃主讲人方涛§3.1机器学习与神经网络学习②非监督学习（无导师学习）神经元仅根据I/O来修正连接权。直接将网络置于环境中，学习阶段与工作阶段于一体，具有自适应性。比如：Hebb学习规则（简单），竞争学习（复杂）、ART、自组织映射…③强化学习（有导师学习的特例）采用“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因子）。

7、典型例子：遗传算法（Gas）。3.1.2.2来自环境刺激模式的多少分类①联想式学习②非联想式学习第三讲神经网络的学习规则和感知器┃主讲人方涛§3.1机器学习与神经网络学习3.1.2.3网络连接方式来分①阶层②相互连接一旦神经网络的拓扑结构确定后，学习就是连接权的修正。学习模型：第三讲神经网络的学习规则和感知器┃主讲人方涛§3.2几种神经网络学习规则3.2.1Hebb学习规则3.2.2剃度下降算法与学习规则3.2.３其它几种学习规则第三讲神经网络的学习规则和感知器┃主讲人方涛§3.2几种神经网络学习规则3.2.1He