ann讲义--02-神经网络基础

《ann讲义--02-神经网络基础》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章人工神经网络基础主要内容：BN与AN；拓扑结构；存储；训练重点：AN；拓扑结构；训练难点：训练6/16/20211神经网络是模拟人脑信息处理的机制与特性，并由大量的处理单元（神经元）互相连接而成的网络。是对生物神经网络进行某种抽象、简化和模拟。NN的信息处理：由神经元之间的相互作用来实现。NN的知识与信息的存贮：表现为神经元之间互连分布式的物理联系。NN的学习和识别：决定于各神经元连接权系数的动态化过程。6/16/202122.1生物神经网络1、构成胞体(Soma)枝蔓（Dendrite）胞体(Soma

2、)轴突（Axon）突触（Synapse）2、工作过程(略)6/16/202133、基本特征1）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用的，也可以是起抑制作用的；5）一个神经元接受的信号的累积效果决定该神经元的状态；6)每个神经元可以有一个“阈值”。6/16/202142.2神经元的结构模型神经元是构成神经网络的最基本单元（构件）。人工神经元模型应该具有生物神经元的六个基本特性。2.2.1人工神经元的基本构成神经元---神经

3、网络的基本处理单元。它一般是一个多输入—单输出的非线性器件。每个输入对应一个权，所有输入的加权和决定神经元的激活状态（输出状态）。6/16/20215人工神经元模拟生物神经元的一阶特性。输入：X=（x1，x2，…，xn）联接权：W=（w1，w2，…，wn）T网络输入：net=∑xiwi向量形式：net=XWxnwnx1w1x2w2net=XW…∑模型的简单表示6/16/20216∑(θi)X1XnX2Wi1Wi2WinuiSiyi其中：ui--神经元的内部状态θi--阀值Xn--输入信号Win--连接的权值S

4、i--外部输入的控制信号为模拟生物神经网络突触膜电位随时间t的变化规律，则可以用一阶微分方程来描述神经元模型：模型的一般表示6/16/202172.2.2激活函数(ActivationFunction)激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f（net）1、线性函数（LinerFunction）neto0c神经元的网络输入即输出通常用激活函数来描述。1)作用：线性放大2)形式:f（net）=k*net+c3)I/O特性（见右图）6/16/202182、非线性斜面函数

5、(RampFunction)γifnet≥θf（net）=k*netif

6、net

7、<θ-γifnet≤-θγ>0为一常数，被称为饱和值，为该神经元的最大输出。γ-γθ-θneto0由于线性函数会降低网络性能，甚至使多级网络的功能退化成单级网络的功能。故常引入非线性激活函数。1）作用：限制函数的值域在给定的范围[γ，-γ]内。2）形式：3）I/O特性6/16/202193、阈值函数（ThresholdFunction）/阶跃函数βifnet>θf（net）=-γifnet≤θβ、γ、θ均为非负实数，θ为阈值或二

8、值形式：1ifnet>θf（net）=0ifnet≤θ或双极形式：1ifnet>θf（net）=-1ifnet≤θ1）作用：仅用与判定神经元所获得的网络输入是否超过阀值2）形式：6/16/202110β-γθonet03）I/O特性6/16/2021114、S形函数（应用最多）压缩函数（SquashingFunction）和逻辑斯特函数（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d为常数。它的饱和值为a和a+b。见图a最简单形式为：f（net）=1/(1+

9、exp(-d*net))函数的饱和值为0和1。见图b1）作用：可通过调节其参数得类似的阀值函数，并反映了神经元的饱和特性。2）形式：6/16/202112a+bO(0,c)netac=a+b/2S形函数有较好的增益控制3）I/O特性：1O0net图aS函数形式一函数名：logsig（x）图bS函数形式二函数名：togsig（x）5、其它函数（高斯函数、双曲正切、扩充平方函数等）6/16/2021132.2.3M-P模型McCulloch-Pitts（M-P）模型，也称为处理单元（PE）。由美国McCulloc

10、h和Pitts在1943年提出的阀值加权和模型。由基本模型和激活函数结合而构成的一种神经元模型。它是大多数神经网络模型的基础。有标准MP模型、延时MP模型和改进的MP模型等。x2wi2∑(θi)f（ui）xnwin…net=XWx1wi1…uiyi1、标准M-P模型1）模型结构：6/16/2021142)数学描述：3）解释：wij--神经元i与神经元j之间的连接强度，即连接权；ui--神经元i的活跃