人工智能未来：脑科学启发的类脑计算.doc

《人工智能未来：脑科学启发的类脑计算.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、人工智能未来：脑科学启发的类脑计算　　随着近几年深度学习的迅速发展，人工智能成为了无论学术界还是互联网领域的一个重要的研究热点。然而，人类在认识世界和改造世界的过程中从自然界和生物特征汲取了大量的灵感和经验。追根溯源，人工智能的发展离不开脑科学的研究。历史上，神经科学和人工智能两个领域一直存在交叉，对生物脑更好的理解，将对智能机器的建造上起到及其重要的作用。　　人工智能是模拟脑的一项主要应用，现在深度学习这种生物学简化的模型有它的优点，具有很好的数学解释性，可以在现有的计算机架构（冯诺依曼）上实现，但是同样有瓶颈，例如

2、：计算代价高，不利于硬件实现等。尽管近年来深度学习和大数据的出现使得这种模型在一些任务上超越人类，但是对于人脑可以处理的复杂问题却无能为力，同时需要大量的计算资源和数据资源作为支撑。　　相反人类大脑是一个极度优化的系统，它的工作耗能仅为25瓦特，神经元的数量却在10的11次方的数量级上，并且这其中的突触也达到了每个神经元有10000个。这样庞大的网络却有如此低的能耗，这是使得人类大脑在复杂问题的处理有绝对优势。　　1.类脑计算与神经网络的发展过程　　早期的类脑计算（Brian-likeComputing）也可以狭义的称

3、为神经计算（NeuralComputation），将神经元和突触模型作为基础，把这些模型用在许多现实中的识别任务，从而发挥模拟人脑功能，例如字体识别，人脸识别等等。这就不得不提到人工智能的基础理论——机器学习。　　结合机器学习和神经元模型，最早的神经元网络是由美国计算机科学家罗森布拉特（F.Roseblatt）于1957年提出的感知机（perceptron），也被称为第一代神经网络。　　前两代神经网络都是在以数据科学为背景发展而来，将神经元的输入和输出抽象成向量和矩阵，神经元的功能主要是做矩阵的相乘运算。但是，实际上生

4、物神经元对信息的处理不是由模拟数字组成矩阵，而是以脉冲形式出现的生物电信号，所以前两代神经网络仅保留了神经网络结构，而极大简化了网络中的神经元模型。　　类脑计算的研究基础主要是以脉冲神经元模型为基础的神经网络。脉冲神经网络（SpikingNeuralNetwork，SNN）由W.Maass在1997年首次提出，其底层用脉冲函数模仿生物点信号作为神经元之间的信息传递方式，可以算做第三代神经网络[2]。　　SNN的优点是具有更多的生物解释性，一方面可以作为计算神经学对生物脑现象模拟的基础工具；另一方面，由于其信息用脉冲传递

5、的特点，SNN结构更容易在硬件上实现，如FPGA等片上系统（on-chipsystem）。但是，脉冲函数不可导，因此SNN不能直接应用梯度法进行训练，对SNN的学习算法一直是近年来主要的研究问题。　　2.SNN的模型、结构以及在机器学习中的应用　　SNN主要结构有前馈（Feedforward）和循环链接（Recurrent）两种。前馈比较常见，从结构上说与传统的前馈神经网络相似，不同的是单个的神经元模型以及整个网络的数据处理方式。　　SNN的神经元模型总体上来说是一类以微分方程构成的模型，带有时间属性。可以理解为传统的

6、神经元只是当前时刻的输入与权重的加权和，SNN的神经元则是在一定宽度的时间窗内的输入与权重的加权和。其中最常见的神经元模型是L&F(LeakandFire)模型，也可以把这种神经元看做为一个店带有电容的电路，按照电路原理来定义可以有如下形式：　　　　图1.I&F神经元的模拟电路[3]　　具体模型公式为：　　　　其中表示膜电位，表示输入突触电流，每当膜电位达到一个阈值，便会产生一个脉冲，并将膜电位恢复到复位电位，同时在一段时间内会产生一个不应期（refractory），在此期间，模电位保持在，不对输入的突触电流做出响应。

7、　　L&F是一阶微分方程的形式，因此是一种线性响应模型，但是由于脉冲阈值以及不应期等机制的存在，使得L&F同样变成了一种对输入的非线性映射。　　利用L&F构成网络就涉及到如何在神经元之间传递脉冲信号，这就是突触电流的响应模型。常用的电流模型是一种基于指数衰减的模型（与膜电位的模型很相似），改进的模型可以是两个衰减模型的叠加，来模拟平滑的脉冲信号（代替阶跃函数表示的脉冲）：　　　　其中和是时间常数，是表示一个脉冲的单位阶跃函数。　　由于SNN存在大量的微分方程计算并依赖于计算机仿真，SNN中的数值基本是通过数值方法计算的

8、微分方程的状态。因此，具体的仿真过程中，与传统神经网络的最大区别在于时间步的概念，与硬件中的时钟十分相似。所以突触模型中还可以带有一个熟悉就是延迟（delay），可以和权重一样被训练成为表达输入特征的一个重要参数。目前SNN的学习算法很多基于脉冲的间隔的精确时间而不是一段时间的脉冲的数量来调整网络参数，如根据hebbian规则演变