资源描述：
《人工神经网络-SVM-深度学习简介.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、神经网络及SVM简介以冯·诺依曼型计算机为中心的信息处理技术的高速发展，使得计算机在当今的信息化社会中起着十分重要的作用。但是，当用它来解决某些人工智能问题时却遇到了很大的困难。例如，一个人可以很容易地识别他人的脸孔，但计算机则很难做到这一点。大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。人工神经网络来源于对人脑实际神经网络的模拟一、神经网络发展历史１．背景知识人脑和CPU神经细胞利用电-化学过程交换信号。输入信号来自另
2、一些神经细胞。这些神经细胞的轴突末梢（也就是终端）和本神经细胞的树突相遇形成突触（synapse），信号就从树突上的突触进入本细胞。信号在大脑中实际怎样传输是一个相当复杂的过程，但就我们而言，重要的是把它看成和现代的计算机一样，利用一系列的0和1来进行操作。就是说，大脑的神经细胞也只有两种状态：兴奋（fire）和不兴奋（即抑制）。发射信号的强度不变，变化的仅仅是频率。神经细胞利用一种我们还不知道的方法,把所有从树突上突触进来的信号进行相加，如果全部信号的总和超过某个阀值，就会激发神经细胞进入兴奋（fire）状态，这时
3、就会有一个电信号通过轴突发送出去给其他神经细胞。如果信号总和没有达到阀值，神经细胞就不会兴奋起来。人脑和CPU动物神经细胞的数目（数量级）蜗牛10,000（=10^4）蜜蜂100,000（=10^5）蜂雀10,000,000（=10^7）老鼠100,000,000（=10^8）人类10,000,000,000（=10^10）大象100,000,000,000（=10^11）人脑和CPUCPU只具备一个功能就是二进制加法运算人脑的特点对损伤有冗余性(tolerance)能实现无监督的学习处理信息的效率极高善于归纳推广C
4、PUi73.0Ghz，4个核人脑100hz，10G个核人工神经网络一个人工神经网络(Artificialneuralnetwork,简称ANN)就是要在当代数字计算机现有规模的约束下，来模拟这种大量的并行性,并在实现这一工作时，使它能显示许多和生物学大脑相类似的特性。人工神经网络（ArtificialNeuralNetwroks，简称ANN）是对人类大脑系统的一种仿真，简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。实际上它是由大量的、功能比较简单的形式神经元互相
5、连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。尽管它还不是大脑的完美元缺的模型，但它可以通过学习来获取外部的知识并存贮在网络内，可以解决计算机不易处理的难题，特别是语音和图像的识别、理解、知识的处理、组合优化计算和智能控制等一系列本质上是非计算的问题。2．什么是人工神经网络1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。3．几个发展阶段第一次热潮(40
6、-60年代未)1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质.1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届学术会议。低潮(70-80年代初)第二次热潮第三次热潮GPU大数据新方法深度学习理论学习的类型人工神经网络人工神经元模型x1…xn表示与该神经元相连接的所有神经元的输入（出）w1…wn表示与相连接神经元的
7、突触强度（连接权）θ表示神经元的（电压）阈值。f()表示激励函数,单调上升函数，且取有限值神经元电位值：神经元的输出值：y=f(s)Σf()...ys人工神经网络激励函数的基本作用控制输入对输出的激活；对输入、输出进行函数转换；将可能无限域的输入变换成指定的有限范围内的输出。激励函数类型阈值函数线性函数非线性函数Sigmoid函数人工神经网络Sigmoid函数就是把神经细胞原有的阶跃式输出曲线钝化为一光滑曲线S型函数具有非线性放大系数功能，可以把输入从负无穷大到正无穷大的信号，变换成-1到l之间输出对较大的输入信号，
8、放大系数较小；而对较小的输入信号，放大系数则较大采用S型激活函数可以处理和逼近非线性输入/输出关系BP神经网络BP神经网络计算BP神经网络Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模
