夜间模式下自动驾驶场景预测与语义理解

《夜间模式下自动驾驶场景预测与语义理解》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：10255学号：2161284夜间模式下自动驾驶场景预测与语义理解AUTOMATICDRIVINGSCENEPREDICTIONANDSEMANTICUNDERSTANDINGATNIGHT学科专业：电气工程论文作者：阮雨指导老师：孙韶媛答辩日期：2018.5.29东华大学学位论文原创性声明本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品

2、及成果的内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日东华大学学位论文版权使用授权书学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本版权书。本学位论文属于不保密□。学位论文作者签名：指导教师

3、签名：日期：年月日日期：年月夜间模式下自动驾驶场景预测与语义理解夜间模式下自动驾驶场景预测与语义理解摘要自动驾驶汽车是一种不需要人为操作就能感知其周围的环境及实现导航的轮式机器人。近几年随着机器人技术的不断创新和发展，自动驾驶汽车虽没有完全实现商用化，但关于自动驾驶汽车的设想已经逐渐成为现实，引起了很多有关行车安全性的讨论。夜间由于光线不充足，人们识别周围场景的能力大大降低，自动驾驶汽车的夜间行车安全也越来越受到人们的关注。自动驾驶汽车对于夜间周围场景的识别能力是其能否在夜间安全行驶的关键，因此

4、，研究如何提高自动驾驶汽车对夜视图像的感知能力，对夜间自动驾驶汽车的安全行驶具有重要意义。在白天，普通的摄像机可以轻易地采集到需要利用的图像，然而在夜间，由于光线不充足，普通的可见光成像相机无法胜任这个任务。因此，在夜间通常会采用红外摄像机来采集图像，它与普通的摄像机相比，可以在无光条件下工作，利用不同的物体之间通常具有不同的温度差异，从而形成一幅具有不同的灰度值的图像。由于它特殊的成像机制，在军事、医学和工业等多个领域的应用中均取得了不错的成果。但是，夜视图像也具有可见光图像没有的一些缺点，例

5、如缺乏色彩信息，对比度和信噪比都比较低等。这使得对夜视图像的理解极具挑战。为了增强自动驾驶汽车对夜间周围场景的理解，可以更有效、更准确地预知周围环境的变化并通过通顺的语言将场景的内容表示出来，以便无人车能够及时做出相应的决策，本论文以夜视图像的成像特性为基础，对夜间自动驾驶汽车的场景预测与语义理解进行了深入的研究。本文的主要研究内容包括两个部分：第一部分为基于预测编码网络的夜视图像场景预测算法；第二部分为基于深度卷积神经-长短期记忆网络的夜视图像语义理解算法。论文的主要创新点包括以下两点：1、将

6、深度学习应用于夜视图像的场景预测，采用了一种预测编码网络来预测夜视图像的场景变化，在传统的深度卷积-循环神经网络的基础上，对网络结构进行了一定的调整，将预测图像与实际图像的误差在网络中进行前向传递，不断更新预测误差来调整预测结果。训练得到的场景预测模型，可以预测夜间驾驶I夜间模式下自动驾驶场景预测与语义理解场景0.4s后的合理未来图像，且改善了一直以来在长时间预测任务中预测效果不好的问题，预留了足够的时间供无人车及时做出相应的决策。从实验结果上看，本文的夜视图像场景预测方法具备良好的准确性和实时

7、性。2、为了加强自动驾驶汽车在夜间行车时对于预测出的夜视图像的理解，若在行车过程中，通过机器读取夜视图像的内容，并通过通顺的语言将这幅图像的内容表达出来，就可以辅助无人车或者车内人员更好更快地理解预测出的图像所传递的信息。本文提出了一种基于卷积神经-长短期记忆网络的夜视图像语义理解方法，首先通过卷积神经网络提取特征，再通过长短期记忆网络对提取的特征生成相对应的语义理解语句。该网络采用端到端的训练模式，输出与原始夜视图像特征相匹配的概率最大的单词，组成一个语义解释的句子。实验结果证明，该方法具有很

8、好的准确性和实时性。关键词：红外图像；深度学习；场景预测；预测编码网络；语义理解；长短期记忆网络II夜间模式下自动驾驶场景预测与语义理解AUTOMATICDRIVINGSCENEPREDICTIONANDSEMANTICUNDERSTANDINGATNIGHTABSTRACTAnautomaticdrivingcarisawheeledrobotthatcansenseitssurroundingsandimplementnavigationwithouthumanoperation.Inrec