人工神经网络1-基础知识

《人工神经网络1-基础知识》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第4章人工神经网络内容：教材109-119、191-200页4.1基础知识（补充）4.2神经元与神经网络4.3反向传播神经网络4.4离散的Hopfield网络4.1基础知识1最速下降法（梯度法）2Matlab程序设计语言与神经网络工具箱1最速下降法最速下降法（又称梯度法）是1847年Cauchy提出来的最优化算法，用于求解非线性函数的局部最小值（最小点）回顾高等数学中一元函数的求极值问题：极小点的条件是：n元函数极小点的条件：矩阵是半正定的Hesse矩阵梯度自然而然想到的求极小值的方法令梯度为零，通过解非线性方程

2、组，求出一组极值点根据每一个极值点处的矩阵是否为半正定，来判断极小值点在实际中，这一方法是不可行的：变量的个数多不易求解非线性方程组不易判断矩阵是否半正定在最优化技术中，采用迭代的方法求出其中的一个解不同的初始值可能对应于不同的解，并求出局部极值在最速下降法中，以负梯度方向作为极小化算法的下降方向迭代格式为梯度是迭代步长，可以用一维搜索来确定终止准则：向量的2范数：最速下降法的计算步骤：1：给定初始点x1，允许误差ε，置k=12：计算搜索方向g(xk)=f(xk)3：如果

3、

4、g(x)

5、

6、2≤ε，则终止计算，算法

7、找到解。否则，从xk出发，沿-g(xk)进行一维搜索，求出αk，使得f(xk-αkg(xk))=minf(xk-αg(xk))4：置xk+1=xk-αkg(xk)，k=k+1，转到步2说明：在编程时，还需要设置最大允许迭代次数，以提前终止迭代过程在人工神经网络的算法中经常人为地设定迭代步长（学习率） （常量或者单调减小）梯度法的特点：一般来说，只能找到一个局部最小点（多解）收敛速度较慢算法结构简单，易于用各种编程语言来实现2Matlab程序设计语言与神经网络工具箱(1)Matlab简介Matlab（MatrixL

8、aboratory）是美国MathWorks公司的产品，是一种功能强大、效率高、便于进行科学和工程计算的交互式软件包。当前使用的版本：Matlab6.1、Matlab6.5和Matlab7.0Matlab的特点：①高效方便的矩阵和数组运算例如：求Ax=b，语句是x=Ab求特征值，语句是e=eig(A)②编程效率高Matlab语言简洁紧凑，使用灵活方便，程序书写形式自由。库函数丰富③结构化/面向对象当前Matlab版本采用C++编写的，既有结构化的控制语句（for,while,break,continue,if）

9、，又有面向对象编程的特性④方便的绘图功能能够绘制各种二维、三维图件⑤用户使用方便使用方式有命令行和.m文件（脚本M文件、函数M文件）。后者作为编译型语言使用：编辑-编译-连接-执行与调试⑥功能强大的工具箱近三十个工具箱⑦扩充能力强用户可以自己编写函数，建立新的库函数和扩充库函数。核心文件和工具箱文件都是可读可写的源文件，用户可以修改。可以与C，C++语言混合编程⑧计算速度比C语言慢，易学会难精通(2)Matlab语言的要点注释行注释行的开头是“％”变量变量命名规则是：①区分大小写②长度最多不能超过19个字符③变量

10、名必须以字母开头，由字母、数字和下划线组成数组数组是一系列数的有序排列，用方括号“[]”表示数组的下标从1开始元素之间用“空格”或“逗号”分开例：x=[0,1,2,3,4,5,6];（行向量）x(1)：第一个元素x(1:5)：第一到第五个元素x(3:-1:1)：第三到第一个元素注意：如果语句最后没有“；”，则显示x的所有值有分号则不显示矩阵矩阵用“方括号”来表示同一行的数据用“空格”或“逗号”隔开不同行的数据用“分号”隔开例：A=[1,0,0;0,1,0;0,0,1];引用一个元素可以用两个下标来表示例A(i,j

11、)引用多个元素可以用冒号来表示例A（：，j）：第j列的所有元素4.1.2.3神经网络工具箱神经网络工具箱包含了人工神经网络中的主要模型与算法，具体有：①感知器神经网络（Perceptron，Rosenblatt，1957）②线性神经网路（Adaline,Widrow和Hoff，1960）③BP神经网络（BP，Rumelhart和McCelland，1986）④自组织网络（SOM，Kohonen，1980）⑤离散的Hopfield网络（Hopfield，1986）第4章人工神经网络4.1基础知识（补充）4.2神经元

12、与神经网络4.3反向传播神经网络4.4离散的Hopfield网络4.2.1生理神经元4.2.2人工神经元4.2.3神经网络4.2.1生理神经元1生理神经元的结构2生理神经元的工作原理典型的神经元分成：细胞体(cellbody)突(process)1生理神经元的结构轴突(axon)树突(dendrite)生理神经元的组成轴突是个突出部分，长度可达lm，把本神经元的输出发送到