深度学习中卷积神经网络的教学探讨

《深度学习中卷积神经网络的教学探讨》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、深度学习中卷积神经网络的教学探讨李睿凡1，陈佳洁2，周延泉1，王小捷1，钟义信1(1．北京邮电大学计算机学院，北京100876；2．河北省霸州市第四小学，河北霸州065700)摘要：深度学习是智能科学与技术领域的最新突破性进展，卷积神经网络是其中一个代表性工作。文章探讨如何开展卷积神经网络的教学工作，包括教学内容的安排和教学内容之外的考虑两个方面，旨在将智能科学与技术的这一最新成果介绍给学生，使他们能较早接触学科前沿，提升学习兴趣，激发创新动力。同时，也为广大教师提供一些教学的思路和方法。.jyqkail protected]．edu．。1背景当前，智能科学与技术在国家经

2、济与社会需求中的作用愈发重要。2015年3月2日，百度公司首席执行官李彦宏在两会提案中建议设立“中国大脑”计划；智能家居、智慧城市等早已经渗入普通大众的生活中。从大学教育的角度，智能科学与技术专业是培养“智能”人才的重要基地，智能专业一级学科的设置也迫在眉睫。传统的人工智能专业课程主要包括人工智能导论、模式分析、机器学习、数据挖掘等，其中通常涉及前向神经网络的教学内容。但近些年，深度神经网络的发展使我们从事智能科学与技术一线教学和科研工作的教师面临新的机遇与挑战。特别值得注意的是，深度学习中的卷积神经网络的发展是深度学习中的一个亮点。卷积神经网络在图像识别和语音语言处理等人工智能的

3、众多领域都取得了突破。2013年，我们提出将深度学习引入智能科学与技术类专业课教学的建议，包括其必要性和可行性以及初步的实施建议。2014年，我们又探讨在本科生和研究生课程中开展深度学习的教学实施方案‘卅。在科研与教学的实践中，我们体会到卷积神经网络是深度学习中非常重要的内容，非常有必要将精彩的卷积神经网络基本内容带入课堂。2卷积神经网络背景2006年之前，人工神经网络的发展大致可以分为两个时期。1943年，McCulloch和Pitts提出了最早的人工神经元，这种神经元具有学习的能力，这是人工神经网络的开端，这一时期沿着单个神经元研究其学习算法。1969年，Minsky和Pape

4、rt分析了感知器神经网络模型的局限性，这使人工神经网络的研究很快暗淡下来。80年代中期，诺贝尔奖得主JohnHopfield提出了Hopfield神经网络模型，这种Recurrent神经网络具有的动态性有可能用于解决复杂的问题。同一时期，多层前向神经网络的反向传播算法(Back-propagation)也被重新发现。这两个工作使人工神经网络得到重生。这时，人工神经网络已经成为人工智能的一个重要组成部分，但随后的研究由于更多层神经网络学习的失效而再次陷入低潮。文献[5]对神经网络的研究给出了全面的总结。2006年，神经网络领域的大师GeoffreyHinton教授与其博士生Salak

5、hutdinov博士发表了题为ReducingtheDimensionalityofDataageNetILSVRC大规模图像识别评测任务。该任务包括120万张高分辨率图片，共包含1000个类比。Hinton教授团队使用了多层卷积神经网络结构，取得了突破性进展，将识别错误率从26.2%降低到15.3%。这一比赛结果破除了计算机视觉领域的大师、美国加州大学伯克利分校的JitendraMalik教授对深度学习大规模实际应用的质疑。同时，它也加速了神经网络深度学习从学术研究跃人工业应用，为神经网络打开了更为广阔的前景。在最近5年的多个国际顶尖学术会议(AAAI，ICML、NIPS，CVP

6、R，MM)都有涉及深度学习的主题会议或研讨会。工业界也发生了一系列事件。2014年5月，斯坦福大学的AndreiletoPay扫脸技术。国际知名的互联网公司都参与到深度学习的学术研究和技术应用中。3教学内容编排在文献[4]中，我们已经讨论了关于研究生深度学习课程教学的内容，但对卷积神经网络的内容强调得不够充分。因此，我们建议如果条件容许，可以扩大卷积神经网络教学内容，甚至采用专题教学的形式。同时，我们认为研究生阶段的教学目标主要是使学生掌握基本而深入的知识，从而对感兴趣的领域提出研究建议，并采取合理的方法完成研究内容并撰写研究报告。基于以上目标，研究生课程（含36学时）主要涵盖3部

7、分内容：机器学习基础、神经网络基础、神经网络研究论文讨论。第一部分的机器学习基础知识部分（6学时）主要让学生从零起点顺利过度到这门课程。教师讲解机器学习的基本目标和方法、线性分类器和支持向量机、主成分分析和线性判别分析。第二部分的神经网络知识部分（8学时）主要包括前向神经网络及后传算法和卷积神经网络、卷积网络结构的卷积层和抽取层、卷积神经网络的理解和可视化。考虑到神经网络的实践性，我们特别安排神经网络的优化和调试内容。第三部分主要是学生阅读讲解和师生互动的论文研讨部分