chapter_1_神经网络概述

《chapter_1_神经网络概述》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、计算智能(CI:ComputationalIntelligence)使用计算科学和技术拟人的智能的结构和行为：信息的获取、传递、处理、再生和利用能力主要包括：Allofthenature-inspiredmethods.RemarkCI:Nature-inspiredmethod(s)+real-world(training)data=ComputationalIntelligence.参考书：1.M.T.Hagan,H.B.Demuth,andM.H.Beale,神经网络设计，机械工业出版社，200

2、2.2.S.Kumar,NeuralNetworks,清华大学出版社，2006.3.许东等，基于MATLAB6.x的系统分析与设计——神经网络，西安电子科技大学出版社，2002.4.S.Haykin,NeuralNetworks---AComprehensiveFoundation,PrenticeHallInc.,1999.5.S.TheodoridisandK.Koutroumbas,PatternRecognition,机械工业出版社，2006.Chapter1神经网络概述1940’s初：开始，

3、人工智能；1960’s末：低潮，进展不大；1980’s中：重新，热潮，几乎所有工程领域；2000’s：下坡两个标志性的成果：l多层前向网络的BP算法(1986)：逼近任意函数lHopfield网络(1984)：TSP问题，联想记忆一、人工神经网络(ArtificialNeuralNetworks)141.什么是人工神经网络？人工神经网络是人类中枢神经系统的简化模型，是由大量简单的并行分布的计算单元（神经元，neurons）互相连接而成的自适应非线性系统。2.模拟人脑在两个方面(1)通过学习获取知识(l

4、earning,training)；(2)知识存储在神经元及其之间的连接上。二、神经元模型1.生物神经元（人类大脑神经元）(1)什么是生物神经元生物神经元是一个小细胞，具有如下功能：(a)接收来自感官或其它细胞的输入；(b)产生电输出响应，并传给其它神经元。人脑包含：神经元(2)基本结构三个主要成分：细胞体、轴突、树突突触(连接强度)树突：Input(接收信息)细胞体轴突：Output(传输信息)Fig1.生物神经元简图14(a)树突（接收信息）接收来自其它神经元的电信号，并传给细胞体。(b)细胞体（

5、信息处理器）信息处理器(对输入信号)(c)轴突（传输信息）把细胞体的输出信号传给其它神经元。(d)突触（储存信息）轴突和树突的结合点（两神经元之间）：例如，新记忆的形成是通过改变突触的强度来实现。（液状体）2.人工神经元是生物神经元的简单的模仿、简化和抽象，是一个极其简单的计算单元（函数）。MP模型（McCulloch(神经解剖学家)-Pitts(数学家),1943）：Fig.2.人工神经元模型，神经元实现了的极其简单的非线性函数：14其中—输入，Input（来自其它神经元的信号）；—输出，outpu

6、t(轴突上的电信号)；—权值，weight(突触的强度)；—阈值、门限，threshold;—激活函数、传输函数，activationfunction,transferfunction.例、实现逻辑函数“与门”（ANDgate）运算。1—真，0—假神经元输入神经元输出(AND)000100010111.Remark:使人们看到了人类智能与计算机的联系，兴起了对神经网络的研究，产生了人工智能(AI:ArtificialIntelligence)学科。三、神经网络三要素激活函数、网络结构、学习规则1.激活

7、函数(ActivationFunctions)14(1)线性激活函数(用于ADLINEnetwork)(2)硬限幅激活函数(用于Perceptron)对称的硬限幅激活函数(3)Sigmoid(S形)激活函数，性质：对称（双曲正切）S形激活函数2.网络结构TwoTypes:多层前向网络(MultilayerFeedforwardNetworks)Static:实现非线性映射。递归(反馈)网络(Recurrent(Feedback)Networks)Dynamic:Thenetworksareclassi

8、calexamplesofnon-lineardynamicalsystems.14(1)单隐层的前向网络(a)网络结构FirstLayerOutput:,.NetworkOutput:（的非线性映射）=,where—第k层第i个神经元、第j个输入的权值;—第k层第i个神经元的阈值。Remark:实现了的非线性映射(b)逼近能力已证明：单隐层(两层)前向网络可任意精度的逼近中的任意函数。Remark单隐层网络：常用；三、四层网络：特殊的目的；四层以上网络