异构融合类脑计算平台的计算模型与关键技术研究

《异构融合类脑计算平台的计算模型与关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、异构融合类脑计算平台的计算模型与关键技术研究(申请清华大学工学博士学位论文)培养单位：精密仪器系学科：仪器科学与技术研究生：邓磊指导教师：裴京副研究员二○一七年六月TowardstheComputationalModelandKeyTechnologiesonHeterogeneousBrain-InspiredComputingPlatformDissertationSubmittedtoTsinghuaUniversityinpartialfulfillmentoftherequirementforthedegreeofDoctorofPhilosophyinInstrume

2、ntsScienceandTechnologybyDengLeiDissertationSupervisor:AssociateProfessorPeiJingJune,2017摘要摘要近几年，借鉴人脑信息处理机制的类脑计算平台呈现爆炸式发展，共同推动智能革命时代的到来。现有类脑计算平台主要有两种实现途径：深度学习专用处理器与神经形态芯片及系统。前者借鉴大脑层级处理与学习训练的特性，基于现有冯·诺依曼处理器架构，提供高性能的深度学习引擎，但其时空表达能力和泛化通用性仍远不如大脑；后者借鉴大脑时空关联特性，采用众核分布并行与存储处理一体化的架构，致力于提供人工通用智能的解决方案，但

3、其机理和应用尚不够清晰成熟。为此，本文提出异构融合类脑计算平台的研究课题，将深度学习理论、神经动力学以及神经形态架构进行深度融合，为探索基于混合模型的通用类脑计算架构提供新思路与新平台，同时支撑人工智能应用与神经科学研究。完成的主要内容与成果包括：1．针对深度神经网络，结合类脑计算平台的存储容量约束，提出深度神经网络多阶离散化在线学习理论。避免训练过程中高精度隐含权重的存储，大大节约存储资源，为未来在线学习类脑计算平台提供指导；并可进一步灵活配置权重离散状态的数目，充分发挥实际硬件平台的计算能力。2．针对神经动力学网络，介绍脉冲神经网络的计算与学习框架，研究典型的连续LIF动力学

4、网络。设计模式学习网络的硬件实现方案；提出层级分块序列记忆网络及其参数编码方法，演示记忆动力学过程并揭示分块机制与突触可塑性的关系；对目标追踪网络进行硬件友好改造，研究网络的灵敏度与稳定性。3．设计基于忆阻器技术的神经网络与理想类脑计算平台，搭建电路仿真环境，验证模式学习与序列记忆模型，并定量分析器件动态范围与差异性对网络性能的影响。建立忆阻器调制能耗的估计方法，提出低能耗优先调制的策略，有效降低忆阻器网络的调制能耗。4．设计基于数字电路技术的天机系列异构融合类脑计算芯片，建立各类网络的整型化与映射理论，搭建软硬件平台。“天机芯Ⅰ”旨在深度学习与神经动力学以及神经形态架构的融合，

5、通过实现深度神经网络与目标追踪动力学网络，设计了无人智能自行车应用，实现姿态平衡控制、目标探测与实时追踪。“天机芯Ⅱ”旨在提高芯片的应用性能，在网络规模、模型复杂度与扩展性以及运行速度方面进行全方位优化，通过嵌入异构通信机制允许混合网络建模，并通过按行流式映射与“浮点数卷积+三值化全连接”的方案支持高性能大规模深度神经网络的实时运行。关键词：类脑计算；神经形态；深度神经网络；神经动力学；忆阻器网络IAbstractAbstractNowadays,withtheexplosivedevelopmentofbrain-inspiredcomputingplatformsinspir

6、edbytheinformationprocessingparadigmofthebrain,theAIeraiscoming.Theremajorlyexisttwokindsofimplementations:deeplearningprocessorandneuromorphicchip.Theformerimitatesthehierarchicalprocessingandlearningfeatureofthebrain,andoptimizesthevonNeumannprocessor-basedarchitecturetoprovideefficientdeep

7、learningengines;however,itsperformanceonspatio-temporalpatternrepresentationandprocessinggeneralizationisstillfarlesssatisfactory.Thelatterimitatesthespatio-tempralcorrelationofthebrain,andusesdistributedparallelismandintegratedmemory/computa