神经网络读书笔记.docx

《神经网络读书笔记.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、神经网络部分知识点总结一、神经网络的基础1.1神经网络概念神经网络是由简单处理单元构成的大规模并行分布式处理器，天然具有存储经验知识和使之可用的特性。神经网络在这两方面与大脑相似：1.神经网络是通过学习过程从外界环境中获取知识的。2.互连神经元的连接强度，即突触权值，用于存储获取的知识。1.2神经网络性质和能力神经网络具有以下有用的性质和能力：1.非线性：人工神经网络可以是线性或者非线性的。2.输入输出映射：称之为有教师学习(learningwithateacher)或监督学习(supervisedlearning)的关于学习的流行方法。它使用带标号的的训练

2、样例(trainingexample)或任务样例(taskexample)对神经网络的突触权值进行修改。3.自适应性：神经网络具有调整自身突触权值以适应外界环境变化的固有能力。4.证据响应(evidentialresponse)：在模式分类问题中，神经网络可以设计成不仅能够提供选择哪一个特定模式的信息，还提供关于决策的置信度信息。后者可以用来拒判那些可能出现的过于模糊的模式，从而进一步改善网络的分类性能。5.上下文信息(contextualinformation)：神经网络的特定结构和激发状态代表知识。网络中每一个神经元都受到所有其他神经元全局活动的潜在影响

3、。6.容错性：一个以硬件形式实现的神经网络具有天生的容错性，或者是鲁棒性的计算能力。7.VLSI实现：神经网络的大规模并行性使它具有快速处理某些任务的潜在能力，很适合使用超大规模集成(VLSI)技术来实现。8.分析和设计一致性。9.神经生物类比。1.3神经元模型的三个基本元素1、突触或连接链集，每一个都由其权值或者强度作为特征。如在连到神经元k的突触j上的输入信号xj被乘以k的突触权值wkj，第一个下标指正在研究的这个神经元，第二个下标指权值所在突触的输入端。2、加法器，用于求输入信号被神经元相应突触加权的和。3、激活函数，用于限制神经元输出振幅。上图为非线

4、性神经元模型，标记为第k个神经元。用数学方程描述神经元：其中xj是输入信号，wkj是神经元k的突触权值，uk是输入信号的线性组合器的输出，bk为偏置，激活函数为φ(·)，yk为神经元输出信号。1.4激活函数的类型1、阈值函数(Heavside函数)：如图（a）所示2、sigmoid函数：sigmoid函数的一个例子是logistic函数：如图（b）所示其中a是sigmoid函数的倾斜参数。1.5网络结构神经网络分为三个基本结构：1、单层前馈网络：源节点构成输入层，直接投射到神经元输出节点上。2、多层前馈网络：有一层或多层隐藏层，相应的计算机节点称为隐藏神经元

5、。隐藏是指神经网络的这一部分无论从网络的输入端或者输出端都不能直接看到。3、递归网络：和前馈网络的区别在于它至少有一个反馈环。1.6学习过程广义上讲，可以通过对神经网络的功能来对其学习过程进行分类：有教师学习和无教师学习。按同样标准，后者又可以分为无监督学习和强化学习两个子类。1、有教师学习：也称监督学习。从概念上讲，我们可以认为教师具有对周围环境的知识，这些知识被表达为一系列的输入-输出样本。然而神经网络对环境一无所知。2、无教师学习：没有任何带标号的样例可以供神经网络学习。强化学习：输入输出映射的学习是通过与环境的不断交互完成的，目的是使一个标量性能指标

6、达到最小。如左下图。无监督学习：没有外部的教师或者评价来监督的学习过程。如右下图。二、感知器2.1感知器模型感知器神经元模型由一个线性组合器和随后的硬限幅器（执行一个符号函数）组成。如图为感知器符号流图。硬限幅器输入或神经元的诱导局部域是：感知器的目的就是将外部作用激励正确分为两类。在最简单的感知器中存在被一个超平面分开的两个决策区域，此超平面定义为：2.2感知器收敛定理偏置b(n)被当作一个等于+1的固定输入量所驱动的突触权重。定义输入向量：n代表迭代步数，对应的权值向量为：线性组合器输出：存在一个权值向量存在以下性质：感知器不能正确对向量进行分类，在常量

7、ηn=1的情况下有：两边同时乘以行向量w0T，有根据定义有w0Tw(n+1)≥nαCauchy-Schwarz不等式有：对权值调整公式两边同取欧几里得范数的平方，得到但是，wTkxk≤0，因此，这里β是一个正数，定义为比较发现一个是大于等于一个是小于等于相矛盾，故取相等求最大迭代次数。2.3感知器收敛算法概述三、用于非线性模式识别的神经网络非线性模式识别的神经网络包括多层感知器（MLP）网络、径向基函数（RBF）网络、支持向量基（SVM）、数据处理的通用模型（GMDH，也叫做多项式网络）、通用回归神经网络（GRNN）和通用神经网络（GNN）。带有一个隐含层的

8、多层感知器模型：在预报应用里（或函数逼近里）通常是单