深度学习分享技术介绍.ppt

《深度学习分享技术介绍.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、深度学习技术介绍DeepLearningTechnology深度学习是机器学习中表征学习方法的一类。一个观测值（例如一幅图像）可以使用多种方式来表示，而某些特定的表示方法可以让机器学习算法更加容易进行学习。表征学习的目标是寻求更好的表示方法并建立更好的模型来学习这些表示方法；通俗来讲，机器学习是一种算法框架，通过此算法框架，需要让机器具有类似人类的智慧，学会认识世界的一种方式；为人类提供“大数据+简单模型”的实现方式。什么是深度学习语音识别图像识别自然语言处理深度学习的实际应用类型论点：机器学习是要制造一个超级大脑，能够具有人类一样的智慧。这是一个非常典型的错误。机器学习是一个古

2、老的计算机学科，而深度学习正是机器学习的一个狭窄领域，并非新生事物。持此观点的人一般都是对此学科一知半解的人。在工程上，深度学习的目的不是理解人脑的本质，也不是需要制造一个类人的生命体，而是构建有用的机器。神经网络(artificialneuralnetworks)能够帮助我们建立更好的计算机系统，用以处理信息。人脑也是一种处理信息的装置，具有非凡的鞥努力并且在视觉、语音、语义等方面都超过了目前的工程产品，目前研究的方向是用形式算法定义人脑处理这些任务的解，并在计算机上实现此过程。纠正一个错误1989年，计算机已经可以学习识别人类讲话，并且用到了神经网络学习方法和隐马尔科夫模型学

3、习方法；1989年，机器学习方法已经被用于训练计算机控制车辆，实现无人驾驶；1995年，决策树学习算法已经被NASA用来分类天体；1995年，计算机已经可以通过学习，在博弈类游戏中击败人类。人工神经网络的研究历史和数字计算机一样长。1943年，McCulloch和Pitts提出了人工神经网络的第一个数学模型。1962年提出了感知器和学习算法。1969年有人指出了单层感知器的局限性。1986年后，后向传播被发明，单层感知器局限性不复存在。由于深度学习是机器学习的一个子集，讨论时我们混用这两个名词。为什么说机器学习是一个古老的学科人工智能贝叶斯方法计算复杂性理论控制论信息论哲学心理学

4、和神经生物学统计学和机器学习相关的学科根据Marr(1982)年理论，理解一个信息处理系统，具有三个被称为分析层面的内容：计算理论(computationaltheory)对应计算目标和任务的抽象定义。表示和算法(representationandalgorithm)是关于输人和输出如何表示和从输入到输出变换的算法说明。硬件实现(hardwareimplementation)是系统的实物物理实现。理解人脑处理信息的过程感知器(perceptron)是基本处理元素。它具有输人，其输人可能来自环境或者可以是其他感知器的输出。与每个输人相关联的是一个连接权重(connectionwei

5、ght)或突触权重(synapticweight)，而输出在最简单情况下是输人的加权和。什么是感知器(perceptron)···最简单的分离器设计感知器定义了一个超平面，而神经网络感知器事不过是实现超平面的一种方法。给定数据样本，权重可以离线计算，并且将其带入后，感知器就可以用来计算输出的值。在训练神经网络时，若果未提供全部样本，而是逐个提供实例，则我们通常使用在线学习，并且在每个实例之后更新网络参数，让给网络缓慢的及时调整。这是目前比较常见的一种训练方式。对于在线学习，不需要全部样本而是需要单个实例上的误差函数。从随机初始权重开始，每次迭代中，我们都对参数稍作调整，以最小化误

6、差，而不是忘记先前学习的。若误差函数可微，则可以使用梯度下降方法。具有单层权重的感知器，只能逼近输入的线性函数，不能解决XOR类型的问题，这些问题的判别式是非线性的。类似的，这种感知器也不能用于非线性回归。鉴于此，MLP可以实现非线性的判别。训练感知器这是在训练多层感知器时提出的一个概念。训练多层感知器与训练感知器是一样的。唯一区别是现在的输出是输入的非线性函数，这要归咎于隐藏单元中的非线性偏倚函数。在对于多层感知器，计算梯度时误差就向传回到输出一样，所以创造了这个术语。后向传播算法(backpropagation,1986)对于人脸识别(facerecognition)。输入是

7、人脸图像，类是需要识别的人，并且学习程序应当学习人脸图像与身份之间的关联性。人脸会有更多的类，输入图像也更大一些，并且人脸是三维的，不同的姿势和光线等都会导致图像的显著变化。另外，对于特定人脸的输人也会出现问题，比如说眼镜可能会把眼睛和眉毛遮住，胡子可能会把下巴盖住等。具体应用-人脸识别对于医学诊断(medicaldiagnosis)。输人是关于患者的信息，而类是疾病。输入包括患者的年龄、性别、既往病史、目前症状等。当然，患者可能还没有做过某些检查，因此这些输入将会缺失。检查需要