机器学习神经网络与支持向量机部分.ppt

《机器学习神经网络与支持向量机部分.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、机器学习For2013级计算机应用技术研究生主讲李鹤喜机器学习——人工神经网络1、概述人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionistModel），是对人脑或自然神经网络（NaturalNeuralNetwork）若干基本特性的抽象和模拟。人工神经网络以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人HechtNielsen给人工神经网络下的定义

2、就是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态相应而进行信息处理。”2、人工神经网络的提出人工神经网络是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。3、人工神经网络的特点人工神经网络的以下几个突出的优点使它近年来引起人们的极大关注：(1)可以充分逼近任意复杂的非线性关系；(2)所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性；(3)采用并行分布处理方法，使得快速进行大量运算成

3、为可能；(4)可学习和自适应不知道或不确定的系统；(5)能够同时处理定量（函数逼近）、定性（分类判别）知识。4、生物神经元模型1、生物神经网络由树突轴突突触其他神经元构成轴突——细胞体突起的最长的外伸管状纤维称为轴突。轴突最长可达1米以上。轴突是把神经元兴奋的信息传出到其它神经元的出口。树突——细胞体的伸延部分产生的分枝称为树突，树突是接受从其它神经元传入的信息的入口。突触——是一个神经元与另一个神经元之间相联系并进行信息传送的结构3、生物神经元模型神经元的六个基本特征：1）神经元相互联接，呈网状结构；2）神经元之间的联接强度决定信号传递的强弱

4、；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用的，也可以是起抑制作用的；5）一个神经元接受的信号的累积效果决定该神经元的状态；6)每个神经元可以有一个“阈值”。4、神经元的MP模型MP-模型如图所示，神经元由输入量x1，x2，…，xn，对应每个输入量的权值wi、门限和输出y组成，f为传递函数x1x2xnfy…w1w2wnf(v)v4、一般神经元模型一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。一个求和单元，用于求取各输入信号的加权和（线性组合).一个非线性激活函

5、数(作用函数)，起非线性映射作用并将神经元拘出幅度限制在一定范围内.此外还有一个阈值4、一般神经元模型4、一般神经元模型两种阈值，一种为负起抑制作用，一种为偏置激活函数的作用1、控制输入对输出的激活作用；2、对输入、输出进行函数转换；3、将可能无限域的输入变换成指定的有限范围内的输出。几种常见的激活函数1、阈值函数．M-P模型2，分段线性函数它类似于一个放大系数为1的非线性放大器，当工作于线性区时它是一个线性组合器，放大系数趋于无穷大时变成一个阈值单元。几种常见的激活函数3。Sigmoid函数双曲正切函数这类具有平滑和渐近性，并保持单调性．几种

6、常见的激活函数神经网络的基本模型4、神经网络结构模型1、前向神经网络结构（feed-forwardNetworks）所谓前向网络，是各神经元接收前一层的输入，并输出给下一层，没有反馈。节点分为两类，即输入节点和计算节点，每一个计算节点可有多个输入，但只有一个输出，通常前馈型网络可分为不同的层，第i层的输入只与第i-1层的输出相连，输入与输出节点与外界相连，而其他中间层则称为隐层。4、神经网络结构模型2、反馈神经网络结构（feedbackneuralnetwork）反馈神经网络是一种反馈动力学系统。在这种网络中，每个神经元同时将自身的输出信号作为

7、输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能，如果将李雅普诺夫函数定义为寻优函数，Hopfield神经网络还可以用来解决快速寻优问题。4、神经网络结构模型3、随机型神经网络结构（RandomNeuralNetworks）前向型和反馈型的网络是确定性的网络，即给定输入则输出是确定的，但实际上按照神经生理学的观点,生物神经元本质上是随机的.因为神经网络重复地接受相同的刺激,其响应并不相同,这意味着随机性在生物神经网络中起着重要的作用.随机神经网络正是仿照生

8、物神经网络的这种机理进行设计的.随机神经网络一般有两种:一种是采用随机性神经元激活函数;另一种是采用随机型加权连接,即是在普通人工神经网络中加入适当的