基于机器视觉的限速标志识别技术研究

《基于机器视觉的限速标志识别技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

基于机器（申请工学硕士学位论文）视觉的限速标志识基于机器视觉的限速标志别技术识别技术研究研究梁培养单位：自动化学院瑶学科专业：控制科学与工程研究生：梁瑶武指导教师：魏怡教授汉理工大学2014年5月万方数据 分类号密级公开UDC学校代码10497学位论文题目基于机器视觉的限速标志识别技术研究英文ResearchonSpeedLimitTrafficSignRecognition题目BasedonMachineVisionTechnology研究生姓名梁瑶姓名魏怡职称教授学位博士指导教师单位名称自动化学院邮编430070申请学位级别硕士学科专业名称控制科学与工程论文提交日期2014年5月论文答辩日期2014年5月学位授予单位武汉理工大学学位授予日期2014年6月答辩委员会主席评阅人2014年5月万方数据 独创性声明本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：日期：学位论文使用授权书本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人承诺所提交的学位论文（含电子学位论文）为答辩后经修改的最终定稿学位论文，并授权武汉理工大学可以将本学位论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息服务。(保密的论文在解密后应遵守此规定)研究生（签名）：导师（签名）：日期：万方数据 摘要随着社会经济的发展和人民生活水平的提高，汽车的数量在不断的增加，汽车在给人们的生活带来便利的同时也引发了许多交通问题，比如交通堵塞、道路安全等。为了解决这些问题，智能交通系统这一研究领域应运而生。智能交通系统综合了图像处理、数字信号处理、人工智能、模式识别和通信技术等，能有效地协调人、车、路三者之间的关系，对保障交通系统的安全运行具有非常重要的意义。交通标志识别是智能交通系统的重要组成部分，它能够在车辆行驶过程中实时、准确地识别驾驶环境中的交通标志，并将交通标志的信息及时传递给驾驶员，从而规范驾驶员的行为，帮助他们安全驾驶，尽可能减少交通事故的发生。本文以限速标志作为研究对象，对其识别技术进行了较为深入的研究，主要研究内容包括：（1）限速标志的检测：根据限速标志的颜色特征，本文分别从RGB彩色空间和HSV彩色空间对颜色进行分割，将目标区域和背景分离，再在此基础上结合限速标志的圆形特征，进一步确认限速标志在图中的位置，以实现限速标志的检测。（2）限速标志的识别：识别技术是本文的重点研究内容。通过实验分析比较了模板匹配法和基于结构特征的识别算法对限速标志的识别准确率，最终决定采用基于结构特征的方法来对限速标志进行识别。最后，本文对限速标志识别系统进行了评估，结果表明本文的算法具有较好的实时性、准确性及鲁棒性。关键词：限速标志，颜色分割，标志识别，智能交通I万方数据 AbstractWiththedevelopmentofsocialeconomyandtheimprovementofpeople'slivingstandards,thenumberofcarsisconstantlyincreasing,thecarhasbroughtconveniencetopeople'slife,butatthesametime,alotoftrafficproblemsalsobecreated,suchastrafficjam,roadsafety,etc.Inordertosolvetheseproblems,theresearchfieldofIntelligentTransportationSystemcameintobeing.IntelligentTransportationSystemcombinesimageprocessing,digitalsignalprocessing,artificialintelligence,patternrecognitionandcommunicationtechnology,etc,caneffectivelycoordinatetherelationsamongpedestrians,vehiclesandroads,ITSissignificanttoensurethesafeoperationoftransportationsystem.TrafficsignrecognitionisanimportantpartofITS,itcanidentifythetrafficsignsinthedrivingenvironmentinreal-timeandaccuratelyintheprocessofthemotionofthecar,andthetrafficsigninformationispassedtothedriverintime,tostandardizethedriver'sbehavior,helpthemtodrivesafely,toreducetrafficaccidentsasfaraspossible.Thispaperchoosesthespeedlimitsignsastheresearchobject,theidentificationtechnologyhascarriedonthethoroughresearch,themainresearchcontentsinclude:1.Thedetectionofspeedlimitsigns:Accordingtothecolorcharacteristicsofthespeedlimitsigns,thepaperrespectivelyfromtheRGBcolorspaceandHSVcolorspaceforcolorsegmentation,thetargetareaseparatedfromthebackground,thencombinedwiththeroundfeatureofspeedlimitsigns,furtherconfirmthepositionofthespeedlimitsignsinthepicture,soastorealizethedetectionofspeedlimitsigns.2.Therecognitionofspeedlimitsigns:Recognitiontechnologyisthemostimportantworkinthispaper.Byanalyzingandcomparingthetemplatematchingmethodwiththerecognitionalgorithmbasedonstructurecharacteristicsforthespeedlimitsignsrecognitionaccuracythroughexperiments,finallydecidedtoadoptthemethodbasedonstructuralcharacteristicstorecognizethespeedlimitsigns.Finally,thispaperevaluatesthespeedlimitsignsrecognitionsystem,theresultshowsthatthealgorithmhasgoodreal-timeperformance,accuracyandrobustness.Keywords：Speedlimitsigns,Colorsegmentation,Trafficsignrecognition,ITSII万方数据 目录摘要...............................................................................................................................IAbstract.......................................................................................................................II第1章绪论...............................................................................................................11.1课题研究的背景和意义...............................................................................11.2国内外研究现状...........................................................................................21.3机器视觉在智能交通系统中的应用...........................................................31.4限速标志的先验知识...................................................................................41.5论文的结构与内容安排...............................................................................6第2章限速标志识别的先期图像处理...................................................................72.1数字图像处理及MATLAB应用.................................................................72.1.1数字图像处理概述.............................................................................72.1.2MATLAB图像处理............................................................................82.2限速标志图像的采集...................................................................................92.3限速标志图像的预处理...............................................................................92.3.1图像的预处理.....................................................................................92.3.2预处理技术.......................................................................................102.4限速标志检测技术.....................................................................................132.4.1红色阈值分割...................................................................................132.4.2圆的检测...........................................................................................152.5本章小结.....................................................................................................16第3章限速标志识别的相关技术.........................................................................173.1基于Radon变换的形状相似不变特征提取...........................................173.1.1Radon变换的定义和性质...............................................................173.1.2基于Radon变换的多尺度不变特征与性质..................................203.1.3Radon变换的结果...........................................................................233.2基于李群理论的形状仿射不变特征提取.................................................233.2.1仿射变换...........................................................................................243.2.2基于面积的形状仿射参数化...........................................................243.2.3基于李群的积分弯曲函数...............................................................263.2.4李群算法的应用...............................................................................263.3小波变换.....................................................................................................283.3.1小波变换的定义...............................................................................283.3.2小波变换的应用...............................................................................31III万方数据 3.4矩不变法.....................................................................................................313.4.1形状的矩特征...................................................................................313.4.2傅里叶矩不变描述子.......................................................................343.5基于结构特征的识别方法.........................................................................353.5.1数字结构特征描述...........................................................................363.5.2结构特征的应用...............................................................................373.6本章小结.....................................................................................................38第4章数字识别及限速标志识别系统的实现.....................................................394.1模板匹配.....................................................................................................394.2形状的相似性比较方法.............................................................................404.3基于模板匹配识别的算法实现.................................................................414.3.1李群算法的实验结果.......................................................................414.3.2小波变换的实验结果.......................................................................424.3.3矩不变法的实验结果.......................................................................434.3.4实验结果分析...................................................................................454.4基于结构特征识别的算法实现.................................................................454.5限速标志识别系统的实现.........................................................................474.5.1系统运行结果展示...........................................................................474.5.2系统评估...........................................................................................554.6本章小结.....................................................................................................56第5章总结与展望.................................................................................................575.1工作总结.....................................................................................................575.2工作展望.....................................................................................................58致谢.............................................................................................................................59参考文献.....................................................................................................................60IV万方数据 武汉理工大学硕士学位论文第1章绪论1.1课题研究的背景和意义随着经济的飞速发展，汽车已逐渐成为城镇居民日常生活中不可缺少的交通工具。人们在享受汽车带来的生活便利的同时，也面临着汽车造成的环境污染、交通堵塞、道路安全等一系列问题。据了解，我国的汽车数量占全球汽车[1]数量的8%左右，而我国因交通事故死亡的人数却占全球的16%左右。据相关[2]信息统计，仅2011年上半年，我国发生的交通事故就多达1840998起，造成了近4.4亿元的财产损失。这些触目惊心的数据表明，汽车不仅仅只是一种交通工具，它也变成了一种杀人工具。而产生交通事故的原因大多数是因为驾驶员不能及时做出反应而引起的，在这种背景下，为了让行人、车辆和道路能够有机地协调起来，智能交通系统（IntelligentTransportationSystem，ITS）应运而生。ITS是一种全新的交通运输管理体系，涵盖了对车辆的控制和管理、对交通进行[3]监控等方面，有效地提高了道路交通的安全性、改善了交通的拥挤状况，同时降低了能源的消耗，减轻了由汽车带来的环境污染。交通标志是一种用文字或符号来传递道路交通状况、引导驾驶员安全驾驶的道路设施，交通标志识别是ITS中的一个重要组成部分，它能够及时地将行车过程中出现的交通信息传达给驾驶员，以使驾驶员及时地做出反应，尽可能减少交通事故的发生。据了解，绝大多数交通事故都是由于车辆超速或驾驶员注意力不够集中而引起的，限速标志作为一种控制车辆行驶速度的交通标志，在交通管制中扮演的角色非常重要。而在实际的车辆行驶过程中，驾驶员常常[4]会受到心理、生理等因素的影响而不能总是及时地对道路中的限速标志做出反应，导致交通事故的发生。由此可见，对限速标志进行识别是交通标志识别中的首要任务，因此限速标志识别系统也是ITS中的重要组成部分，它可以有效地辅助驾驶员进行安全驾驶，保障出行安全。限速标志识别系统是通过安装在汽车上的摄像头获取前方道路的交通环[5]境，并将拍摄到的图像传送给系统中的图像处理模块，经过对图像的处理以及对限速标志的检测与识别后，将系统最终得到的识别结果通过显示屏或语音播报的形式告诉驾驶员，以提醒驾驶员前方道路限速情况，加强道路交通的安全1万方数据 武汉理工大学硕士学位论文性。图1-1所示是限速标志识别系统的工作示意图。获取图像限速标志识识别结果为：别图像处理模块系限速40km/h统图1-1限速标志识别系统工作示意图开展对限速标志识别技术的研究，具有重大意义。限速标志识别系统能够在限速标志出现时及时地以影像或声音的形式提醒驾驶员控制行车速度，从而避免了驾驶员对限速标志的忽略，有利于避免潜在事故的发生，提高了车辆的主动安全性。1.2国内外研究现状随着科技的不断发展，人们越来越重视道路交通的安全性，交通标志识别系统作为提高道路交通安全性的重要工具，国内外越来越多的研究机构投入到了该系统的研究当中，并取得了一定的研究成果。[6]1987年，日本作为最早开始进行交通标志检测研究工作的国家，其主要是采用了阈值分割、模板匹配等经典算法来完成对限速标志的检测。随后，自1993年至1999年期间，西方发达国家相继展开了对交通标志识别的研究工作：[7]美国提出了采用颜色特征和几何特征来进行交通标志检测，利用神经网络的方[8]法来完成目标分类和识别；意大利提出了采用提取图像几何特征的方法来对交2万方数据 武汉理工大学硕士学位论文通标志进行检测，然后用相似性度量的方法将检测出的目标与标准模板进行比[9]较来完成交通标志的识别；德国提出了基于颜色分割、形状分析、统计图识别等技术。进入到21世纪后，对于交通标志的识别不仅仅停留在理论研究的工作上，而是更注重其实际的应用。日本大阪大学于2000年开发了实时交通标志识别系统，美国Wisconsin-Madison大学于2001年开发了停止标志识别系统，瑞典的[10]GarethLoy实验室和澳大利亚的NickBarnes自动化研究所于2005年进行合作研究出了一套交通标志识别系统。在我国，对于交通标志识别技术的研究较少，还没有形成体系。但是，随着ITS的快速发展，国内一些高校、研究机构也相继展开了对这方面的研究和试验，并获得了一定的研究成果。1.3机器视觉在智能交通系统中的应用视觉是人类和其它一些动物所具备的基本功能，是人类最重要的一种认识世界、了解世界的途径。人类通过视觉来观察周围的客观世界，识别文字图像等信息，理解其中的含义。视觉除了对光信号的感受之外，还包括对视觉信号的采集、传输、处理、理解和存储的整个过程。机器视觉是通过计算机来模拟人的视觉系统，从周边环境中采集图像，提取有效信息并进行分析、处理，最[11]终用于实际的检测、测量和控制。大多数环境信息都是以视觉方式呈现出来的，因此，模拟视觉系统如今已经成为人工智能、传感器及模式识别的重要研究方向。机器视觉是智能汽车用于感知环境的最重要的一个部分。车辆行驶时，90%[12]的信息都来源于视觉，这也就是说，汽车主动安全的重要信息都来源于视觉。机器视觉能为司机提供绝大多数的道路信息供其参考，这对智能汽车来说具有非常重要的意义。由此可见，在汽车主动安全的诸多传感器中，视觉传感器的重要性尤为突出，以至于在国内外智能车辆技术的研究中一直倍受重视。研究人员通常使用CCD摄像头或TV摄像机替代司机的眼睛来获取图像信息，再利用机器视觉图像处理技术对这些图像信息进行分析，来感知车辆周边的环境。近年来，伴随科技水平的飞速发展，计算机硬件设备的处理速度不断提升，存储容量不断扩充，价格不断降低，基于机器视觉的智能车辆技术已逐渐发展成为一种主流趋势。3万方数据 武汉理工大学硕士学位论文目前，机器视觉的某些方面已经取得了突破性的进展，在智能交通系统、工业生产、机器人、智能车辆等领域得到了广泛的应用。虽然相比于人类的视觉水平，机器视觉仍然处在十分初级的阶段，但是，以计算机为代表的微电子技术正在飞速发展，机器视觉有望实现人眼一样的功能，做到人眼能够完成的一切。1.4限速标志的先验知识道路交通标志是一种用文字或符号来传递道路交通状况、引导驾驶员安全驾驶的道路设施，具有图像简单、颜色鲜明、设置醒目的特点，目的是为了让[13]道路交通遵循一定的规则，从而在一定程度上改善道路的通行效率，提高道路的行车安全性。各个国家使用的交通标志基本上都类似，但又有所不同。目前，我国道路上交通标志的设置实施的是2009年修订后的最新国家标准《GB57682009道路交通标志和标线》。国家标准中规定，交通标志按照作用分类，可以分为主标志和辅助标志。主标志主要分为警告标志、禁令标志、指令标志3类，辅助标志设置在主标志的下方位置，对主标志起到辅助说明的作用。每一类交通标志的形状、颜色和图形符号都有其严格的规定：警告标志是黄底、黑边、黑图案的顶角向上的正[14]三角形；禁令标志大多是白底、红边、黑图案的圆形、八角形或顶角向下的正三角形；指令标志是蓝底、白图案的圆形或矩形。禁令标志是用于对行人和车辆的交通行为进行限制的交通标志，限速标志作为禁令标志中的一种重要标志，主要起到限制驾驶员行车速度的作用，这对交通安全来说是十分重要的。限速标志表示的是，在该标志出现的位置到道路前方解除限速标志的路段[15]范围内，汽车的行驶速度（单位为kmh/）不得超过限速标志中显示的数值。限速标志在路段中设置在需要限制汽车行驶速度的起点，并且是车辆行驶正面方向易于发现的地方，通常是在道路右侧以及上方的位置，且与道路中心线的垂直线成一定角度（一般是0°~45°），主要是为了让司机能够尽早发现行驶道路上的限速标志，及时采取相应的措施，控制车速，以达到降低交通事故的发生率、保障道路交通安全的目的。图1-2所示为国家标准中标准模板为限制速度40km/h的标志。由图可见，限速标志有一个红色的外圆环，其内部由白色底色和黑色的阿拉伯数字构成。图中圆环内数值为40，表示汽车行驶速度不得超过40km/h。4万方数据 武汉理工大学硕士学位论文图1-2限制速度40km/h标志视觉工效学的学者们在经过长期对颜色的研究后，精心选择出了交通标志的颜色，人们通过这些颜色可以迅速地发现道路上的交通标志。在选择限速标志的颜色时，需要考虑人们的心理因素。在所有颜色中，红色刺激感最强，容易让人产生危险感，在交通上有约束、停止之意。心理学的专家们经过长期的[16]实验研究后发现，对于形状较小的交通标志而言，红色标志不论是在视认性、诱目性还是在识别性方面表现都是最好的。视认性好的颜色看起来较近，容易让人产生紧迫感；诱目性好的颜色容易引起人的注意，留下较深的印象。交通标志形状的设计同样也是有科学依据的。通过对交通标志的形状进行研究发现，在面积同等的情况下，形状不一样的标志可辨认性也是不一样的。在同等面积[17]下，圆形标志上的文字或图像可以画得更大，视觉效果更清晰，同时，圆形标志更容易和街道上其它形状复杂的物体区分开，更方便人们辨认。限速标志圆环内的字符均采用的是0~9的阿拉伯数字，白色和黑色则主要起到颜色搭配的作用，一明一暗，以增强色泽鲜艳度。因此，限速标志的颜色确定为红圈、白底、黑字。除了图1-2所示的标准限速标志40外，还包括很多其它不同数值的限速标志。限速标志是根据道路的路况来进行设置的，比如，在高速公路上常见的限速标志有60、80、90、100、120等，在经常有行人行走的道路上常见的限速标志有30、50等，在急转弯道路上常见的限速标志有25等。图1-3所示为日常生活中出现的限速标志模板图示例。为了降低交通事故发生的概率，对限速标志进行快速有效的识别是非常有意义的。在设计限速标志识别算法之前，充分了解限速标志的颜色、形状和位置这些先验知识，有利于提高系统识别的准确性和实时性。5万方数据 武汉理工大学硕士学位论文图1-3限速标志模板图示例1.5论文的结构与内容安排本文一共分为六章，各章的内容安排如下：第一章介绍了本次课题研究的背景和意义以及国内外研究现状，其次对机器视觉在智能交通系统中的应用做了简要阐述，随后详细的介绍了限速标志的先验知识，最后概述了本文的结构和内容安排。第二章介绍的是在对限速标志识别之前进行的一些先期图像处理工作。首先概要介绍了数字图像处理、MATLAB的基础知识，接着介绍了限速标志图像的采集，最后重点介绍了限速标志图像的预处理以及它的检测技术，包括红色阈值分割和圆的检测两部分。第三章介绍的是提取限速标志内的数字字符特征所使用的算法理论，包括Radon变换、李群、小波变换、不变矩和基于结构特征的识别方法。第四章是针对第三章介绍的几种用于字符识别的技术，在MATLAB中编写算法程序对其进行实验仿真，通过分析实验数据来比较这几种算法，从而得出用于本文限速标志数字字符识别的最终算法。第五章介绍的是限速标志识别系统在MATLAB中的实现。首先给出了系统的设计流程图，其次针对流程图中的每一步，分别给出了实现方法以及实验结果。最后，对限速标志识别系统进行了评估与分析。第六章对本次课题研究的总结以及展望。6万方数据 武汉理工大学硕士学位论文第2章限速标志识别的先期图像处理2.1数字图像处理及MATLAB应用2.1.1数字图像处理概述[19]将图像定义为函数fxy,，那么图像在点xy,处的亮度就是图像在该处的幅值f。数字图像就是指图像上所有点xy,的坐标和幅值f都是有限且离散的数值的图像。数字图像是由一个一个的像素点组成的，这些点都有各自的位置和幅值，而矩阵中的点刚好可以表示数字图像中每个像素点的位置和幅值之间的关系，一个点对应着一个像素，因此通常用矩阵来表示数字图像。[20]所谓数字图像处理，就是人们为了能够达到某种预期的效果，使用计算机将图像信号转换成数字信号，并对其进行处理的过程，从而使图像的实用性得以提高。数字图像处理的研究内容主要包括：点运算、几何变换、图像增强、图像复原、图像编码压缩、图像分割、图像重建、模式识别。从数字图像处理的目的来讲，主要有：对图像进行加工，改善图像的视觉效果；提取图像中的有效信息，便于计算机分析；对图像进行变换、压缩编码，以减少其所需的存储空间或传输空间，降低其对传输通道的要求。在计算机出现以前，模拟图像处理一直占据着主导的地位，计算机的出现给数字图像处理带来了迅速的发展。近年来，数字图像处理几乎在所有与成像相关的领域得到了成功的应用，发挥着相当重要的作用。数字图像处理相比于模拟图像处理，具有较高的精度，能够保留完好的图像信息，并且具有很高的[21]灵活性和通用性。目前，数字图像处理已广泛应用于生物医学、航天遥感、通信工程、工业应用、军事公安、文化艺术及其他等领域，在国家安全、经济发展及日常生活中充当着十分重要的角色，对国计民生的作用不可小觑。与此同时，数字图像处理的发展也面临着图像数据量大、处理运算量大的困难，但这些困难最终将会随着高速大规模集成电路、大容量存储器的逐渐发展而解决。7万方数据 武汉理工大学硕士学位论文2.1.2MATLAB图像处理2.1.2.1MATLAB简介MATLAB，全称“MatrixLaboratory”，是一款用于工程数学计算和图形处理的软件。MATLAB集数值计算、数据分析、动态仿真、矩阵运算、信号处理[22]和图形显示于一体，是近年来国内外应用最广泛的一种可视化科学计算软件，现已发展成为国际上最流行的科学计算与数学应用软件工具之一。现在的MATLAB已经是一种全新的高级的计算机程序设计语言，可以称得上是“第四[23]代”计算机语言，具有广泛的应用前景。MATLAB语言作为第四代计算机语言，它不同于其它高级语言。MATLAB包含了大量高度集成的函数可供用户直接调用，语言通俗易懂，使得开发者不需要重复编程，只需要进行简单的调用操作就可以实现非常复杂的功能。并且其涵盖了大量的工程分析中需要用到的数学运算函数，具有强大的科学计算机数据处理能力，有效地提高了工程分析计算的效率。在用MATLAB进行复杂的数学计算时，用户可以根据自己的需要自行建立指定功能的M文件，并且可以和C、FORTRAN混合编程，交互性好，扩展能力强，移植性好，开放性好。另外，MATLABzhi还具有一般数据可视化软件都kuquan具备20150721的功能，并且其自带有一系列的绘图函数，用作高层次的作图，具有出色的图像处理能力。总之，MATLAB语言在数值分析和矩阵运算等方面，具有强大的功能。它既有简洁、直观、交互性好、程序结构完整等优点，又具有很强的可移植性；[24]它既可以作为一种功能强大的计算器，又可以作为一种计算工具在其它应用程序中被调用，因此被广泛应用于图像信息处理、信号分析等领域。2.1.2.2MATLAB图像处理工具箱工具箱是MATLAB的一个重要特色，也是MATLAB的关键组成部分。它作为一种载体和手段，有力的扩充了MATLAB的基本功能，才让MATLAB强大的功能得以实现。MATLAB的工具箱有30多个，大体可以将它们分成功能型和领域型两种。功能型工具箱是用于扩展MATLAB的基本功能，包括图形建模仿真、文字处理功能等。领域型工具箱的专业性则很强，它是针对某个专业的常用算法做成的函数集。用户通过使用这些功能各异的工具箱，可以很方便地进行分析、计算和设计工作，用来解决各个领域的特定问题。8万方数据 武汉理工大学硕士学位论文[25]MATLAB的图像处理工具箱功能非常强大，不仅支持众多的图像文件格式（例如*.JPEG、*.BMP、*.GIF、*.PNG、*.TIFF等），还提供了200多个用作数字图像处理和分析的函数，几乎包含了所有的（包括近期研究成果）图像处理方法。其主要功能有：图像显示、图像变换、图像分析、图像增强、几何操作、线性滤波及滤波器设计、颜色空间转换、图像类型转换等。将MATLAB的数据分析、算法开发、数据可视化环境与MATLAB的图像处理工具箱集成在一起，可以极大的缩短用户进行算法编程的时间，而把更多的时间和精力用在图像的分析处理问题和算法研究上，大大提高了工作效率。2.2限速标志图像的采集本文研究所使用的交通标志图像均是由车载成像系统在城市道路上拍摄的视频截取而成的一帧一帧的图片图像。由于车辆在行驶的过程中，道路环境复杂多变，交通标志容易被路边的树叶遮挡或发生形变，采用视频截取图像的方法，可以有效地利用前后时刻相邻帧之间的图像间信息的互补性来解决这类问题。在检测系统的识别准确率时，通过一序列图像的检测，在交通标志逐渐靠zhikuquan20150721近的过程中，获得的目标图像的信息越来越多，可以有效避免交通标志漏检、误识的情况。例如：限速标志50，在距离较远的时候，容易由于提取出来的数字过小而导致特征缺失，从而被误识别成30，而在距离较近的时候，提取出来的数字特征清晰，而可以识别正确。因此，采用视频截取图像的方法，可以有效地提高限速标志识别系统的准确性和实时性。2.3限速标志图像的预处理2.3.1图像的预处理在限速标志识别系统的研究中通常会用到很多的图像处理技术，虽然在系统研究当中，这些图像处理技术并不是核心技术，但却是不可缺少的辅助图像[26]处理技术。一般情况下，这些辅助处理技术应用在核心处理技术之前，起到了改善图像质量的作用，有助于后续对图像进行特征提取、分割和识别等。我们称这种辅助图像处理技术为图像预处理。9万方数据 武汉理工大学硕士学位论文本文研究所使用的图像均来源于车载成像系统在城市道路上采集而来的图像，在拍摄过程中，由于车辆与限速标志的相对运动、摄像头的抖动以及受天气、光照、复杂的道路环境等诸多因素的影响，难免会介入噪声信号，对采集到的图像的质量造成影响。图像的预处理技术可以有效地降低噪声的影响，减少图像中的无关信息，从而完成对图像数据的简化，使得后续进行的图像处理工作更具可靠性。2.3.2预处理技术图像预处理技术有很多种，常见的有：二值化、图像增强、图像复原、图像滤波、归一化、几何变换等。各种预处理技术都有其相应的针对性和局限性，因此在应用时需要根据实际情况选择适合自己的预处理方法，以提取出我们感兴趣的信息，这给后续的图像分割和识别带来了很大的便利。1、图像有效区域确定在研究工作进行之前，通常需要根据工作的范围来确定图像的有效区域，并对图像进行适当的剪裁，以减少图像处理的工作量。本文中，图像的有效区域指的是图像中包含有需要对其进行识别的限速标志的主要区域zhikuquan20150721。在预处理阶段对图像进行划分处理，可以将图像中与限速标志无关的大量无效信息屏蔽，[27]只获取图像的有效区域，从而大大减少图像处理的数据量，提高系统运行的速度。根据限速标志的先验知识可以知道，道路限速标志设置在道路右侧以及上方的位置，在采集到的图像中通常位于中上部位，而图像的中下部位是与限速标志无关的一些路面信息。在对采集到的图像进行处理时，可以只对图像的中上部位进行处理，以减少大量无用信息的处理。本文通过截取图像的上7/10的区域作为图像的有效区域，如图2-1所示。10万方数据 武汉理工大学硕士学位论文(a)采集到的原始图像zhikuquan20150721(b)有效区域确定后的图像图2-1图像有效区域确定示例2、二值化图像的二值化，就是将彩色图像或灰度图像上的像素点的灰度值设置为0或255，使整个图像呈现出黑白两色的视觉效果。二值化的主要目的是为了对图像进行色彩分离，减少数据存储容量，便于后期对图像进行分割和特征提取。图像的二值化处理过程是根据一个合适的阈值T（即灰度级），将像素集合划分成两个部分：大于T的像素群和小于T的像素群。将大于T的像素群的像素值设定为前景（白色），小于T的像素群的像素值设定为背景（黑色），这样就将图像划分成了只有前景和背景两个部分。设原始灰度图像为fxy,，转换后的二值图像为gxy,，则二值化过程表示为：11万方数据 武汉理工大学硕士学位论文0,fxyTgxy,（2-1）255fxy,T选用不同的阈值会使二值化处理的结果产生较大差异，因此，图像二值化[28]的关键就在于如何选取灰度阈值。图2-2所示为二值化后的效果图。图2-2二值化效果图3、区域连通标记及小面积删除区域连通标记是通过从左到右、从上到下的顺序来扫描二值图像中的每个像素点，给二值化后的图像中相互连通的所有zhikuquan20150721像素点赋予一个数值，该数值通常为整数。区域连通标记后会留下很多小面积的杂质，在研究中应该尽可能多的将它们去除，以减少图像处理的数据量。图2-3所示为区域连通标记及小面积删除的效果图。(a)区域连通标记后的图像12万方数据 武汉理工大学硕士学位论文(b)小面积删除后的图像图2-3区域连通标记及小面积删除效果图2.4限速标志检测技术限速标志的识别技术主要包括两个部分：限速标志检测技术和限速标志识别技术。其中，限速标志的检测是限速标志识别的前提。因此，要使限速标志的识别达到满意的效果zhiku，首先必须保证限速标志的检测率quan20150721。限速标志的检测是指利用限速标志的先验知识，将其从复杂的道路背景图像中分离出来。颜色和形状是限速标志最主要的特征，基于颜色的检测方法和基于形状的检测方法是限速标志检测技术中最常用的两种方法，本文通过结合限速标志的颜色和形状这两种特征来对其进行检测。由限速标志的先验知识可以知道，限速标志是一种红色圆形标志，根据这一特征，本文首先通过红色阈值分割将图像的红色部分提取出来，再对提取出来的红色部分进行圆的检测，以达到对限速标志定位的目的。2.4.1红色阈值分割限速标志最显著的视觉特征就是它的颜色，阈值分割是颜色分割中最常用的方法，通过对原始图像进行颜色阈值分割，可以去除大量无关信息，达到对图像中限速标志初步定位的目的。1、RGB彩色空间RGB彩色空间是目前应用最广泛的一种彩色空间，本文所采集到的原始图像都是RGB图像。RGB彩色空间由红（即R）、绿（即G）、蓝（即B）三种13万方数据 武汉理工大学硕士学位论文基本色彩分量组成，其它颜色都可以通过这三基色按照不同的亮度值加权而得到。如图2-4所示为RGB彩色空间的立方体模型，该模型基于笛卡尔坐标系统，三个坐标轴分别对应R、G、B，每个坐标轴量化为01，0对应最暗，1对应最亮。RGB立方体模型中的每个点都对应着不同的颜色，原点对应着黑色，立方体的顶点对应着白色，立方体的对角线对应着从黑到白的灰度值。zhikuquan20150721图2-4RGB彩色空间立方体模型基于RGB彩色空间的阈值分割法，是直接在RGB彩色空间内对R、G、B三个颜色分量设定阈值，以完成对红色区域的提取。2、HSV彩色空间HSV彩色空间是从人类的视觉系统出发，用色调、饱和度、亮度三个分量来描述彩色对象。HSV彩色空间模型如图2-5所示。H(Hue)代表色调，表示颜色的种类，取值范围为01，它的值由绕V轴的旋转角度来决定；S(Saturation)代表饱和度，表示颜色的深浅程度，取值范围为01；V(Value)代表亮度，取值范围也是01，相应的颜色逐渐变亮。14万方数据 武汉理工大学硕士学位论文图2-5HSV彩色空间模型在HSV彩色空间中，亮度V与彩色信息无关，而色调H和饱和度S包含了颜色的信息，且与光照无关。因此，在HSV彩色空间进行阈值分割时，只需通过对H、S两个颜色分量设定阈值来提取图像中的红色像素。综上所述可知，基于RGB彩色空间的阈值分割法处理速度快，具有一定的实时性，但是zhiR、G、kuB三个分量之间存在着高度的相关性，很容易受到光照quan20150721的影响，而HSV彩色空间一般不会受到光照的影响，并且更能体现人眼的视觉特点。本文结合两种阈值分割法来对图像中的红色区域进行提取。首先通过RGB彩色空间阈值分割法初步提取出图像中的红色部分，在这基础上再利用HSV彩色空间阈值分割法进一步确认红色区域，以达到更好的分割效果。2.4.2圆的检测初步提取出图像中的红色区域后，需要对这些区域进行圆的检测，满足条件的则认定为是限速标志。一般来说，不同形状的交通标志的周长、面积、圆度和伸长度都是不一样的，下面介绍这几种特征在用于圆的检测时的计算方法。图2-6所示为一幅圆形示意图。H表示圆形的高度，W表示圆形的宽度。假设圆形的面积为S，周长为L，那么圆度C表示为：4SC（2-2）2L它代表了形状接近圆形的程度，C越接近于1表示形状越接近圆形。15万方数据 武汉理工大学硕士学位论文图2-6圆形示意图伸长度E表示为：minWH,E（2-3）maxWH,它代表了形状接近矩形的程度，E越接近于1表示形状越接近矩形。由于限速标志的形状是圆形，圆形的外接矩形是一个正方形，但是在实际应用中，常常因为拍摄的角度而导致采集到的限速标志的形状不是标准的圆形，或多或少会发生一些形变，通过圆度和伸长度的判断方法，能够准确地将限速标志的圆形检测出来。2.5本章小结本章介绍的是在对限速标志识别之前进行的一些先期图像处理工作。首先，概括性的描述了数字图像处理的基础知识，其次简单的介绍了一下本文开发所使用的软件平台MATLAB以及MATLAB图像处理工具箱，接着介绍了关于本文研究所使用的图片的来源，最后重点介绍了限速标志图像的预处理以及它的检测技术。通过图像的预处理，可以重点突出我们所感兴趣的目标区域，以减少图像处理的数据量。限速标志的检测是限速标志识别的前提，只有达到较高的检测率才能为限速标志的识别打好基础。本论文是以限速标志的识别作为重点研究对象，因此关于限速标志的检测技术在本章只作了简单的描述，在下一章中将对限速标志的识别技术做重点陈述。16万方数据 武汉理工大学硕士学位论文第3章限速标志识别的相关技术限速标志识别技术主要包括两个部分：限速标志检测技术和限速标志识别技术。其中，限速标志的检测是限速标志识别的前提，在上一章节，作者已对限速标志的检测技术做了简要的说明，而限速标志的识别技术才是本课题重点研究的技术。众所周知，数字是一种不规则形状，要对限速标志进行识别，其核心任务就是要对限速标志内包含的数字字符进行识别。而在识别数字字符之前，必须要先提取出数字字符的特征。本章给出了几种提取形状特征的方法理论，应用于限速标志中的数字特征的提取。3.1基于Radon变换的形状相似不变特征提取Radon变换最早是由PFunk和JRadon研究出来的。早在1917年，奥地利的数学家JohannRadon就提出了Radon变换这个概念，之后Radon变换在数字图像识别中得到了广泛的应用，例如对数字图像中的线段进行检测、对目标形状的相似不变性特征进行提取等。另外，Radon变换在数学研究领域也具有十分重要的意义。Radon变换可以将二维的图像数据降到一维，具有较强的抗噪声特性。3.1.1Radon变换的定义和性质如图3-1所示是一张Radon变换的几何表示示意图。假设fxy,是闭合区D域D的函数表达式，其定义如下：1(x,y)DfD(x,y)（3-1）0(x,y)DRadon变换是用来对二维图像矩阵在指定方向上的投影进行计算的变换方法。二维图像矩阵的投影是一组线性积分，Radon变换计算某特定方向平行线上的积分，平行线之间的间隔是1个像素。将图像的中心旋转到不同的角度，在每个角度上Radon变换可以将图像中的非零像素点投影到Radon矩阵中，从17万方数据 武汉理工大学硕士学位论文而获得图像在不同角度方向上的一系列直线上的投影积分的集合。对于形状fDxy,而言，其Radon变换定义如公式（3-2）所示：R(,)=f(,)(xyxcosysin)dxdy（3-2）D其中是fxy,上的点在投影线上的投影点到中心点的距离，D0；是投影线与水平轴的夹角，0；特征函数是Direact函00x数x，该函数在x=0之外的其它点处的值均为0，使得积分沿着10x直线xycossin进行。R(,)即为fxy,在直线xycossin上D的积分，如图3-1所示。图3-1Radon变换的几何表示[32]根据Radon变换的原理，给出三个Radon变换的性质，在提取形状相似不变性特征中，这些性质起到了关键作用。（1）平移性质T对于形状fxy,，假设它的平移分量为B=[c,d]，那么经过平移变换后，D它的形状变为gxy(,)f(xcyd,)，代入公式（3-2）中可以得到其平移后DD18万方数据 武汉理工大学硕士学位论文的Radon变换：R(,)g(,)(xyxcosysin)dxdygDf(xcyd,)(xcosysin)dxdyDf(',')(xyx'cosy'sinccosdsin)dxdy''D=R(ccosdsin,)（3-3）由此可见，形状fxy,的平移变换引起了它的Radon变换沿着ρ方向的D平移。（2）旋转性质对于形状fxy,，假设它的旋转角度为β，那么经过旋转变换后，它的形D状变为gxy(,)f(cosxysin,sinxycos)，代入公式（3-2）中可以得DD到其旋转后的Radon变换：R(,)g(,)(xyxcosysin)dxdygDf(cosxysin,sinxycos)(xcosysin)dxdyDf(',')(xyx'cos()y'sin())dxdy''D=R(,)（3-4）由此可见，形状fxy,的旋转变换引起了它的Radon变换沿着β方向的D平移。（3）缩放性质对于形状fxy,，假设它的缩放倍数为α(α>0)，那么经过比例缩放变换D后，它的形状变为gxy(,)f(x,y)，代入公式（3-2）中可以得到其缩放后DD的Radon变换：19万方数据 武汉理工大学硕士学位论文R(,)g(,)(xyxcosysin)dxdygDf(x,y)(xcosysin)dxdyD11f(',')(xy（-'cosxy'sin）)dxdy''2D1=R(,)（3-5）由此可见，形状fxy,的比例缩放变换引起了它的Radon变换沿着方D向的缩放变换以及幅度的线性变化。3.1.2基于Radon变换的多尺度不变特征与性质假设形状fxy,的面积为A，有如下定义：DA=f(,)xydxdy（3-6）D根据Radon变换的定义可以得知，A与形状fxy,在任意方向上的DRadon变换R(,)具有如下关系：A=f(,)xydxdyDf(,)(xyxcosysin)dxdydD=Rd(,)（3-7）将形状fxy,在尺度t上的特性定义如下：DtRd(,)R(|t)=（3-8）t1/2A其中，t是尺度因子，t且t1（由公式（3-7）可知，当t=1时Rt=1）。根据公式（3-8），再结合Radon变换的性质，得到Rt的以下性质：20万方数据 武汉理工大学硕士学位论文（1）平移性质T对于形状fxy,，以平移分量Bcd,进行平移变换后得到形状DgDDxy,,fxcyd，由公式（3-3）可以得知gD(,)xy的Radon变换为R(,)R(ccosdsin,)，由公式（3-6）可知A=Ag，将其代入公式（3-8）g中可以得到其平移后的Radon变换：tRdg(,)Rg(|t)=t1/2AgtR(ccosdsin,)d=t1/2AtRd(',)'=t1/2A=R(|t)（3-9）由此可见，R(|t)具有平移不变性。（2）旋转性质对于形状fxy,，以旋转角度β进行旋转变换后得到形状Dgxy(,)f(cosxysin,sinxycos)，由公式（3-4）可以得知g(,)xyDDD的Radon变换为：RR(,)(,+)，由公式（3-6）可知A=Ag，将其代入g公式（3-8）中可以得到其旋转后的Radon变换：tRdg(,)Rg(|t)=t1/2Ag21万方数据 武汉理工大学硕士学位论文tRd(,+)=t1/2A=R(+β|t)（3-10）由此可见，形状fxy,的旋转转化成了R(|t)的平移。D（3）缩放性质对于形状fxy,，以缩放倍数(>0)进行缩放变换后得到形状D2gxy(,)f(x,y)，由公式（3-6）可知A=αAg，由公式（3-5）可以得知g(,)xyDDD的Radon变换为：RR(,)(,)/||，将其代入公式（3-8）中可以得到其g缩放后的Radon变换：tRdg(,)Rg(|t)=t1/2AgtRd(,)=t1/2tAgtRd(',)'=t1/2t1A2=Rt|（3-11）由此可见，R(|t)具有缩放不变性。（4）多尺度刻画同类形状具有平移、旋转和缩放的变换关系，我们在对形状进行描述的时候，要求形状特征必须具有唯一性。通过观察公式（3-8）可以发现，计算形状fDxy,在尺度因子tt1,…,tn时的形状特征，可以从不同的尺度对形状进行描述，增强形状特征的唯一性。22万方数据 武汉理工大学硕士学位论文另外，从Radon变换的定义及其多尺度特征可以看出，多尺度特征是运用了形状的外边界和它所包围的区域的信息，利用了积分操作得到的，这就使得在提取形状的相似不变性特征的时候，不需要事先对形状进行规范化处理，具有更好的鲁棒性。3.1.3Radon变换的结果以标准数字模板中的“2”为例，在尺度因子t=2的情况下，对其作0°~180°Radon变换，如图3-2所示，左侧为标准模板原图，右侧为其Radon变换曲线。(a)原始图像(b)Radon变换曲线图3-2Radon变换示意图印刷体数字的字体通常都是标准的，但是在实际运用的时候，字符常常会不可避免的出现一些变形与失真，比如偏移、旋转、缩放等，这都是因为拍摄的不稳定性造成的。而由于Radon变换具有良好的性质，可以在提取限速标志中的数字特征时，使用Radon变换提取形状的相似不变特征，对变形或失真的限速标志的识别具有一定帮助。3.2基于李群理论的形状仿射不变特征提取李群是由一位来自挪威的数学家M.S.李创立的一类群。在最初很长一段时期里面，李群理论只和一些偏微分方程或者是微分方程的积分问题有联系，和数学的其它分支关系并不大。然而，自1920年以来，李群理论有了迅速的发展，23万方数据 武汉理工大学硕士学位论文逐渐成为了数学中的一个重要分支。本节介绍采用李群算法来提取形状仿射不变特征的理论基础。3.2.1仿射变换在欧式空间，如果一个映射把任意共线的3个点变成仍然共线的3个点，[33]那么称这个映射为仿射映射。限速标牌中包含的数字的字型大体上是标准的，但是在实际应用当中，拍摄过程中可能存在一些不确定因素，导致字符出现一定程度的变形与失真，譬如偏移、缩放、旋转及剪切等，将这类变形统称为仿射变换。[34]仿射变换是线性几何变换中非常重要的一种，它具有以下几个性质：（1）任意共线的3点之间的简单比值保持不变；（2）点变成点，直线变成直线，变换前后点和直线的结合关系不变，直线的平行关系不变，两平行（共线）线段的长度比不变；（3）矢量之间的线性相关性保持不变；（4）两条闭合的曲线所围成的面积之比仿射不变；（5）对平面上任意的两组不共线的3点，存在唯一的仿射变换，将一组点变成另一组点；（6）两个三角形的面积之比是仿射不变量，称此仿射不变量为变积系数。目标形状的仿射不变特性在众多领域都有着广泛的应用，比如图形识别、遥感数据匹配及空间探测方向。许多成像过程的变化都可以建模成仿射变换，比如在图像平面中，图像的平移（旋转）可以建模成坐标系的平移（旋转），成像距离的改变可以建模成坐标系的缩放。另外，图像的拉伸变换、错切变换等也都属于仿射变换。3.2.2基于面积的形状仿射参数化为了确保仿射变换前后目标局部形状的对应，需要对目标形状进行面积参数化，其基本原理如下：假设形状的质心为O，它不会受到仿射变换的影响。Areat是形状fxy,i的局部(x(t),y(t)|0≤t