基于改进bp神经网络车牌识别的研究

《基于改进bp神经网络车牌识别的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

摘要车牌识别系统(LicensePlateRecognitionSystem，LPRS)是智能交通系统(IntelligentTransportSystem，ITS)一个重要组成部分。随着我国经济的飞速发展，汽车的总量也大幅度增加，汽车在给人们带来方便的同时，也出现了很多问题，所以LPRS的研究也显得越来越重要。LPRS应用十分广泛，例如失窃车辆侦查、不停车缴费、城市道路监控、违章车辆管理、停车场管理、部分重要部门内部车辆识别等等。随着ITS的日益普及，研究更为稳定、快速、准确的车牌识别技术具有巨大的实用意义和社会价值。本文通过对改进的BP神经网络进行研究并应用于车牌识别，阐述了车牌识别的全过程，并且对汉字字符特征的提取方法进行改进，最后根据实验结果证明了该方法对于以往识别系统的识别效果有一定的改善。车牌识别系统主要包含车牌定位、车牌分割、字符识别三个组成部分，本文工作也主要针对以上三个部分进行。l、车牌定位：首先对人们提出的车牌定位方法进行总结分类，对车牌的特征进行分析，对图像灰度化效果不好的图片进行灰度拉伸，试验各种微分算子对图像进行边缘检测，经对比分析确定选用sobel算子，对边缘检测图像进行形态学处理．根据车牌的每一行、每一列的黑色像素总数来提取车牌的具体位置，对于部分难以提取的车牌，论述了基于颜色的车牌提取技术。2、车牌分割：在车牌分割部分中，详细介绍了目前图像分割中的各种技术，然后对与之前提取的车牌进行二值化处理，车牌背景色的统一，车牌的倾斜校正、去除边框等图像的预处理，然后将字符图像分割提取出来并进行归一化处理。3、字符识别：识别部分首先论述了车牌字符识别相对于其它字符识别技术的特殊性，并对字符的特征进行提取，针对于汉字与字母和数字在结构上的不同，提出了两种字符特征提取方法。详细描述了BP神经网络的算法与改进，并且基于改进的BP神经网络分别对汉字、大写字母、大写字母加数字进行识别。经试验证明，本文提出的方法具有较好的效果，尤其是对车牌的定位的准确率和字符识别方面对于以往的车牌识别系统有较大的改善和提高。该论文有图36幅，表7个，参考文献44篇。关键词：车牌识别系统车牌定位车牌分割字符识别．I AbstractLicensePlateRecognitionSystem(LPRS)isaniIr巾ortafltparto士theIntelligemnansportationSystem(ITS)．Withmer印iddeVelopmentofChineseeconomⅥasubstantialincreaseintheaIllou．ntofcars，whichbringconVeniencetopeome，atthes锄etimetherearemanyproblemswiththecars，sotheU?RSresearchbecomeincreasinglyimpoIrtant．LPRShasawiderangeofapplications，suchaSinVeStigationofstolenVehicle，nostoppayment，cityroadmonitoring，i11egaltra佑cmanagement，parkingmanagement，someimportantsectorswithinthevehicleidentificationandsobn．Withme罂owingpopularityofITS，meresearchforamorestable，fasteralldmoreaccurateLPRShasgreatpracticalsign硷canceandsocialValue．Inthepaper，researchtheimprovedBPneuralnetworkusedinLicenseP1ateRecognition，expoundtheoverallprocessofLicensePlateRecognition，andimprovetheextractionmethodofChinesecharacterfeatures，finally，accordingtotheresults，provesmatthememodhasbettereffectsthantheothersbefore．LPRSiscomposedoflicenseplatelocation，licenseplatesegmentatlona工ldcharacterrecognition，thisworkfocusontheset11reepans·1．LicensePlateLocation：Firstofa11，classi匆thememodsof1icenseplatelocation，analyzethecharacteristicsoftheplate，Secondly，a血erthegrayscaleimageprocessing，thoseofbadeffectsaureusedinagraystretchprocesslng·Testav撕e谚ofdi珏．erentialoperatorsontheimageedgeex枷1natlon，deteamnebycoⅡlparingtheanalysisofselectedsobeloperator，processtheedgedetectlonimageonmo砷h0109y．Finally，accordingt0thetotal伽mberofblackpiXels0ftheliccnseplateincolu眦androw，detenninethespecificlocationoflicenseplate，forsome1icenseplatesofdi伍cultlocation，discussesthecolor_basedlicenseplateextractiontechnology．2．LicensePlateSegmemation：inmispart，elaboratetheVarloussegmentationtechnologiesincu盯ent，handlethelicenseplateinbinaryprocessing，吼ifo咖thebackgroundcolorofplate，correcttheimageoflicenseplate矗omtiltan4remoValtheborders，aJldthenextractthecharacterofimageⅡ segmentatlonlnnormallza，tlonprocesslng．+●3．CharacterRecognition：inthispaIrt，丘rstly，discussthediff(；rentbetweenlicenseplatecharacterrecognitionandothertechn0109y，extractthecharacteristicsofcharacters，andthenforthedif．feremofChinesecharacterswithlettersandnumbersinstmcture，proposetwomethodsofcharacterf|eanlreextraction．Secondly，elaboratedescriptionoftheBPneuralnetworkalgorithm，thenmakeitbetter．Finally，basedontheimproVedBPneuralnetwork，discemChinesech砌．acters，capitalletters，capitalletterswithnumber，respectively．ThistestproVesthatthemethodaboVegetbetterresults，especiallyfortheaccuratepositioningandcharacterrecognitionoflicenseplate，contrastingtheothers，hasagreater1icenseplaterecognitionsystemimproVemem．Keywords：LicensePlateRecognitionSystem；licenseplatelocation；licenseplatesegmemation；characterrecognitionlII 致谢本论文是在导师王国权教授的悉心指导下完成的，从论文的选题、文献资料的查阅、到论文的撰写和定稿都倾注了王老师心血。王老师学识渊博、治学严谨、体贴学生。他严谨求实的治学态度，忘我的敬业精神和工作上一丝不苟的作风都使我受益终生，是我终身学习的榜样。三年中王老师为我提供了很多难得的学习和实践机会，无论是在学业还是生活上都给予了我很大的帮助，扩大了我的知识面，锻炼了我的实践能力，尤其在做人方面给我树立了一个终身学习的榜样。正是得到了王老师的精心指导，才使我顺利完成学业，在此论文完成之际，我会铭记导师谆谆教诲，特向王老师致以最衷心的感谢!感谢计算机与信息工程学院所以领导和老师对我的帮助，尤其感谢郑同山同学、我的师弟张扬同学以及实验室的其他同学在我的论文写作及生活方面对我的帮助和关心。感谢所有关心、帮助过我的老师、同学们。感谢陪我度过三年愉快研究生生活的老师、同学、朋友们!感谢家人对我学业的支持，在生活上对我无微不至的关怀，你们是我不断进取的源泉，感谢你们对我无怨无悔的爱护和鼓励!再一次向关心、帮助过我的所有人表示感谢，祝你们身体健康，幸福快乐。 l绪论1绪论1．1研究背景及现实意义进入二十一世纪以来，我国科技和经济不断快速发展，汽车的普及率越来越高，已经成为人们日常生活不可缺少的主要交通工具。随之而来的交通运输问题日益严重，交通拥堵、交通事故等矛盾越发尖锐。以截至2010年，虽然我国公路总里程已达370万公里，其中高速公路总里程6．5万公里，居世界第二位，仅次于美国，但是在我国大部分城市交通情况仍然不是十分乐观。智能交通系统是解决这一矛盾的途径之一。智能交通系统(IntelligentTransporrtSystem，ITS)的前身是智能车辆道路系统(Intelligentvehiclehi曲waysystem，IVHS)，其将先进的信息技术、通讯技术、传感技术、控制技术以及计算机技术等有效地集成运用于整个交通运输管理体系，而建立起的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合的运输和管理系统，从而使交通设施得以充分利用并能够提高交通效率和安全，最终使交通运输服务和管理智能化，实现交通运输的集约式发展。1994年第一届ITS世界大会在法国巴黎召开，我国也有部分学者参加，从此为中国ITS的开展揭开了序幕。车牌识别系统【l】(LicensePlateRecognitionSystem，LPRS)是ITS的一个重要组成部分，应用十分广泛，例如失窃车辆侦查、不停车缴费、城市道路监控、违章车辆管理、车辆统计、停车场管理、部分重要部门内部车辆识别等等。车牌图像识别技术也是计算机智能化的关键技术之一，其中涉及的研究方向有：数字图像处理、计算机视觉、模式识别、人工智能、信息论等多个学科，是一门综合的技术，有着重要理论意义和实际应用价值。车牌识别技术的任务是处理、分析摄像头摄取的视频流中复杂背景的车辆图像，对车辆进行定位，然后对车辆图像进行预处理、分割出车辆牌照，最后自动对汽车牌照上的字符进行识别【21。关于车牌识别系统研究，国内外学者已经做了很多研究，并且取得了不错的成果，但是也出现了很多不足，尤其是对车牌速度快、准确率高、自适应性强的高速车牌识别系统还有待于进一步的研究。1．2国内外研究概况 硕士学位论文从上个世纪90年代初(1988年)，就己经有国外的研究人员对车牌自动识别的研究，但只是对其中的某一个具体问题进行研究，而没有形成完整的体系。到了90年代，随着计算机性能的大幅提高和计算机视觉技术的发展，国内外的学者们开始对车牌识别技术进行系统化的研究。但直到二十世纪90年代后期，我国学者才开始对车牌识别技术进行研究，但是无论是LPRS算法还是LPRS的产品几乎都存在一定的局限性，比如现有LPRS系统几乎都无法有效解决复杂背景下的多车牌图象分割定位与有效识别的问题，另外由于LPRS系统需要全天候在户外工作，所以系统应该适应全天候复杂环境的要求，这些方面都需要在今后不断的完善。车牌识别系统主要包含获取车辆图像、车牌图像定位、车牌图像分割和车牌字符识别三个部分。图l·l车牌识别系统组成Fig．1—1ThecomponentsofLicenseP1ateRecognitionSystem由于国外对LPRS系统的研究起步较早，其技术水平也高于国内，如新加坡Optasia公司用于识别本国和香港车牌的VLPRS，技术已经比较成熟。智能交通系统目前世界上应用最为广泛的地区是日本，如日本的VICS系统相当完毕和成熟，其次美国、欧洲等地区也普遍应用。目前在国内，车牌识别系统的主要产品是中科院自动化研究所汉王公司的“汉王眼”，除此之外，信息产业部下属的中智交通电子系统有限公司、北京信路威、昆明利普视觉、深圳市吉通电子有限公司、亚洲视觉科技有限公司、北京兰亭三和科技公司等十多家公司也有自己的产品，在中国的部分地区，如北京、上海等地也己广泛使用pJ。相对于国外发达国家，我国的车牌识别系统起步较晚，而且由于车牌样式比较多，不同用途的车牌样式、大小、颜色、悬挂位置都不统一，对我国车牌识别的发展造成了一定的困难。国内研发生产车牌识别系统技术都不是很成熟，都需要在光照充足、均匀，车牌没有污损情况下才能识别，并且识别率都是90％左右。国外研究人员经过多年的研究，提出几种比较有代表性的方法有：Bulas．Cmz等人提出的基于扫描行的车牌提取方法；Ko，Mi．Ae等人提出的一种有效识别移动车辆中车牌字符的方法；Takahashi，Yasuko等人提出了’ l绪论一种基于灰度图像模板匹配的车牌识别方法；obeid，HasanR．等人提出的一种快速简单的车牌识别方法；BremaulantllR．等人提出了基于权重计算和密度图的方法；R．Parisi利用DSP和神经网络技术开发出了一套车牌识别系统；YuntaoCui提出了一种利用马尔科夫场对车牌特征进行提取和二值化的车牌识别系统；OZ，Cemil，Ercal，Fikret开发了基于人工神经网络的车牌识别系统并对系统的实时性问题进行了研究；Nathan，vidhvasudhanL．等人提出基于边缘最密集发现和一种混合神经网络的车牌分割算法。Yohimori，Mitsukura等人根据车辆所在的具体光线条件标识图像颜色，然后计算平均亮度，最后通过RLS算法定位车牌位置【钔。由于我国车牌的特殊性，所以只用单一方法很难做到准确识别【5】，目前我国正在研制的无源型汽车牌照智能识别系统综合利用了车辆检测技术、计算机视觉(Computervision)技术、图像处理技术、人工智能技术和人工神经网络技术等，是一个比较有发展前途的车牌识别系统。1．3我国车牌标准我国车牌主要分为三种，分别是民用车牌、警车车牌、武警车牌和特殊车牌。地方车牌：目前国内使用的车牌主要是1992式号牌，其相应标准为GA36．1992《中华人民共和国机动车号牌》。机动车的前牌照的安装位置必须在车辆前端的中间或者偏右，后牌照必须安装在车辆后端的中间或者偏左，而且车辆牌照要求必须固定安装，纵向垂直于地面安装，并不得倒置，不得有任何变形或者掩盖。常见的1992式号牌的前车牌尺寸都统一为440宰140nun。车牌中的登记编号共有7位字符，分别由汉字、大写英文字母以及阿拉伯数字按特定顺序组合而成，前车牌的编号呈水平单行排列，后车牌则分两种情况，分别呈单排水平排列或双排水平排列。车牌编号前两位是机动车登记机构的代号，分别由汉字和大写英文字母组成，汉字是各省、自治区、直辖市的简称：京、津、晋、冀、蒙、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、云、藏、陕、甘、青、宁、新、渝，共31个汉字【引。机动车登记编号部分的设计总宽度为409mm，其中每个字符宽45nun，高90舢，登记机构代号与号牌编号之间的分隔圆点直径为10mm，相邻字符之间(包括字符与分隔圆点之间)的水平距离为12mm。民用车牌：组成由汉字(省、自治区、直辖市的名称)+大写字母(发3 坳十学位论文证及监督机关代码)+五位数字(00001～99999如超过十万用A、B、C代替，A代表10万，B代表11万，C代表12万，以此类推，没有I，O以免与1、0混淆，共24个字符)。目前由于我国车辆数量激增，所以除了第二位固定为大写字母外，后五位都可以为大写字母或者阿拉伯数字。警车车牌：格式分为两种，分别为：一、省份+地区代码+4位数字+警；二、省份+地区代码+字母加+3位数字+警。其中字母A表示法院；字母B表示检察；字母C表示国安；字母D表示司法。武警车牌：现在使用的是“07”式。分为两种：一、WJ+省市区代码(两位数字)+5位数字，为武警内卫部队(直接隶属于武警总部的警种)。二、WJ+省市区代码(两位数字)+警种代码(1位字母)+车号(1位字母+3位数字Aool—Z999)，为武警专业警种部队(总部和国家相关部门共同管理的警种)和公安现役部队(隶属于公安部的现役警种)。军队车牌：现在使用的为第六代(04式)，2004年12月1日启用。铝合金板压制；白底，面膜上设置3D效果隐形军徽和蛇形线防伪标识。前牌字头与字母为红字，其余为黑字；后牌字头为红字，其余为黑字：字体为等线体，弯瞌处为圆弧；7位号长，分为2段；字头为汉字加1位英文字母，军委总部第一位为“军”。北京军区：“北”。南京军区：“南”。广州军区：“广’’。沈阳军区：“沈”。成都军区：“成’’。兰州军区：“兰”。济南军区：“济”。集团军不在使用单独字头，随其所在大区字头。海军使用“海”，空军为“空”。各大区字头为汉字第一位。“战”战字头牌都是没有军车记录的军车，这种车一般不会开出来，都是战备物资，用于紧急运输的，按制度各个军区是不具备使用权的，调用他们需要总参装备部同意。“虎”济南军区陆军第54集团军71697猛虎师驻地在新乡辉县市百泉镇井有村。白字”警备¨、¨京安”、”特别通行¨、”禁毒¨、”通”字牌为特殊部门。特殊车牌：试车牌照为蓝底白字，数字前有“试’’字标志；学习车牌照为蓝底白字，数字前有“学’’字标志；教练车为黄底黑字，数字后有“学”字标志；临时牌照为白底红字，数字前有“临时’’二字；领事馆外籍汽车，牌照为黑底白字及红色“领”字标志；大使馆外籍汽车，牌照为黑底白字及红色“使”字标：e，I小o。所以目前我国所有车牌共59个汉字，26个字母，10个数字。车牌上有四个柳钉，主要存在于车牌上的第二个字符和第六个字符的上下方；4 1绪论表1．1我国车牌字符情况Tab．1—1ThesituationofIicenseplatecharacterinChina1．4本文安排及主要工作本文分为6个章节，主要内容如下：1、绪论部分：主要介绍了车牌字符识别的相关问题，包括国内外现状、我国车牌的标准等等。2、车牌定位：首先对采集到的原始车牌图像进行灰度处理，对于部分图片灰度化效果不好的情况，对其进行灰度拉伸，实验各种常用的微分算子对车牌图像进行边缘检测。然后对边缘检测后的车牌图像进行形态学处理，并且将对经过前期处理的车辆牌照提取出具体的车牌位置，论述了基于颜色的车牌提取技术。3、车牌分割：介绍了目前几种常用的图像分割技术，对于在车牌定位中提取的车牌部分进行预处理，包括二值化处理、车牌背景色的统一、倾斜校正、去除车牌图像的边框，最终将车牌字符图像分割提取出来，并对字符进行尺度归一和紧缩重排工作。4、汽车牌照的字符特征：论述了车牌字符识别相对于其它种类字符识别的特殊性，详细介绍了车牌字符识别的结构方法和车牌字符识别的统计方法，将两种方法进行优缺点分析和对比。并针对于大写英文字母和阿拉伯数字的结构与汉字结构不同，采取不同的特征提取方法。5、基于BP神经网络的字符识别：对BP神经网络算法进行详细的描述，并且对标准BP网络进行改进，加入了动量法和自适应调节学习率两种调整，并且分别采用三组改进的BP神经网络分别对汉字、大写字母、大写字母加S 硕士学位论文数字进行识别。：‘6、总结与展望：对所作出的工作进行总结，分析了不足，并提出了需要改进的地方和未来的发展方向。6 2车牌定位i车辆图像中的定位问题是整个车牌识别的基础部分，定位的准确直接影响到后续的车牌分割、车牌识别等工作，只有将车牌部分首先定位出来，才能进行后续的工作，所以车牌定位虽然比较基础，但是非常重要的前期工作。部分资料提到可以利用色彩信息对车牌进行定位、分割等，但考虑到图像文件的存储量和处理图像时需要占用大量的系统资源，并且我国车牌颜色种类较多，所以在之前绝大多数车牌识别系统处理的图片均为灰度图像，即图像中每个像素仅用一个8位字节表示该像素的亮度值，因而每幅图像是灰度为O～255，共256个灰度级的黑白图像f71，以便于后续的图像二值化，运算量大大减少。基于此，以前部分系统的摄像部分采用单色CCD摄像头直接得到灰度图像。但是目前随着计算机硬件条件的飞速发展，计算机处理速度和存储量大大增加，可以采用彩色图像对车牌图像进行直接处理。2．1车牌的先验知识我们可以从车牌的先验知识得到很多车牌的特征，根据这些特征在对车牌定位，·车牌分割，车牌识别，乃至于整个车牌识别系统都有着重大的意义。2．1．1车牌特征1、车牌高宽比固定，字符水平排列，并且字符大小和字符之间的距离固定。车牌字符区域内的垂直边缘相对于水平边缘来说更为密集，而车身其他部分(如汽车散热进气栅格等)的水平边缘明显，垂直边缘相对较少。2、车牌上有大量类似车牌区域的矩形，还有一些灰度特征类似于文字区域的汽车厂商标志、广告牌、汽车散热进气栅格等。3、车牌内字符大小、格式统一，文字与背景间有明显的灰度对比，由于各种原因，如摄像头与车牌角度问题，车牌可能倾斜成平行四边形。车牌区域存在着字符使得车牌区域水平方向灰度变化剧烈。4、不同类型车牌的底色、文字、外框颜色反差很大。5、无论哪种车牌，在车牌外轮廓部位都有一圈宽度不大的轮廓线，大部分轮廓线都与与字符颜色一致，与背景颜色的亮度差别特别大。部分车牌的轮廓线被车辆厂商的商标或者出售车辆商店的商标挡住，但商标本身也是‘一个轮廓线，其亮度与背景颜色的亮度差别也特别大，同样可以分割出来，7 硕：e学位论文再车牌定位中有很大帮助。2．1．2车牌定位中常用的几种方法根据车牌的不同特征，人们提出了不同的定位方法，归纳起来有以下几种：1、从图像有关灰度直方图统计特性出发的统计分析方法。车牌区域内的边缘灰度直方图具有两个明显且分离的分布中心。最简单的统计法借助于灰度直方图的矩来描述纹理，由以下两式可以直接计算方图的各阶矩。工聊=∑I厂(‘)(2．1)上h(，)=∑(1一，，z)”厂(I)』=l(2．2)其中№也叫方差，是灰度对比度的量度，可用于描述直方图的平滑程度：№表示了直方图的偏斜度；№表示了直方图的相对平坦性。更高阶矩物理意义不直接但也定量的描述了纹理的内容。仅借助灰度直方图的矩来描述忽略了像素相对位置的空间信息，为利用它们可以建立灰度共生矩阵。设S为目标区域R中具有特定空间联系的像素对的集合，则共生矩阵P可定义如下：‰g：)：坐型堕塑型要止丝堑删(2．3)上式等号右边是具有某种空间关系灰度值分别为虽和92的像素对的个数，分母为像素对的总和个数。这样得到的P是归一化的。(车牌识别系统中拍照定位分割技术研究)。2、根据车牌字符区域内字符纹理特征的方法【81，需要找出图像中车牌区域固有的并且与图像其他区域不易混淆的属性，同时该属性需要在各种环境下具有稳定性。大量资料证明，车牌丰富的边缘信息在各种条件下都具有一定的稳定性。其中可用到的纹理特征有：字符宽度和高度、字符的连通性，车牌水平扫描时字符灰度分布的变化特征，字符的笔画分布特征，字符边缘的统计相关性等等。该方法的优点是检测速度快、漏检率低，但缺点是定位不够准确，误检率高，容易将许多非车牌区域当成车牌区域定位出来。3、频谱法借助于傅立叶频谱的频率特性来描述周期的或近乎周期的2一D图像模式的方向性，即对图像做行或者列的DFT变换，其频谱图中包括了车牌的位置信息。常用的三个性质是：傅立叶频谱中突起的峰值对应纹 2下辑定位理模式的主方向；这些峰在频域平面的位置对应模式的基本周期；若利用滤波去除周期性成分剩下的非周期性成分可用统计方法描述。4、根据车牌边框为长方形这一特性，基于直线检测方法【91，可通过Hou曲变换检测整幅图像的长直线段，然后用一定的约束条件进行搜索、匹配来确定车牌的位置。用这种方法定位车牌区域的精度较高，定位出的不相关区域少，但计算量大，定位速度慢，并且容易受到噪声的影响，漏检率和误检率都很高。对有些边框磨损、不明显的牌照定位效果不理想。’5、基于神经网络车牌定位方法，该方法一般选用BP神经网络，大体步骤是首先准备好一定数量的样本，利用BP算法进行训练，然后循环一定次数或者用一部分样本进行验证达到理想效果之后，训练完毕，得到一个对车牌敏感的神经网络。提取车牌时，最好先对输入图像进行预处理，然后利用训练好的神经网络来搜索车牌。该方法的缺点是由于车牌图像的成像环境复杂多变，难以采集到完整的并且有代表性的原始图像集合作为统计分析的基础。BP神经网络为了保证具有比较高的识别率，需要大量学习样本，而且在统计特性随时间改变等非平稳环境时，BP神经网络很难自适应地学习新环境的特性，从而需要重新训练新的BP神经网络。6、基于彩色图像的车牌定位方法，该类方法一般将输入的RGB彩色图像转换换至HSV空间，基于HSV颜色模型，根据车牌底色，利用颜色空间距离及相似度计算，从图像中分割出想要的颜色区域，再采用投影法来找到该颜色区域，进而用于车牌定位。或者基于模糊集或神经网络的色彩分割，进一步定位车牌，但计算量巨大。该方法的优点是因其包含颜色信息，所以定位比较准确，但由于车牌颜色容易受到光线、背景颜色等外界因素的干扰，因而适应性差，一般不单独使用，而是与其它几种方法结合在一起使用。目前，基本上处于理论研究阶段，但随着计算机运算速度的提高，可以逐步走向实用阶段。根据不同的实现方法，现有的定位方法大致可分为以下6类：基于边界的车牌定位、基于区域的车牌定位、基于神经网络的车牌定位、基于小波分析和变换的车牌定位、基于矢量量化的车牌定位和基于颜色空间的车牌定位。2．1．3车牌的颜色特性颜色是车牌的一个重要特性，有效的利用车牌颜色特性可以相对准确的定位车牌，有很多学者在此方面已经提出了很多方法。利用车牌颜色来定位 硕十学位论文车牌区域时可能会遇到以下几个问题：1、不同省份的车牌颜色往往不同。以蓝底白字的车牌为例，黑龙江的车牌为略浅的天蓝色，而北京的车牌为的蓝紫色；2、由于车牌使用时间的长短不同，会发生不同程度的褪色，造成车牌颜色变浅；3、当光照强度不同时，相同颜色的RGB分量也不完全相同。为了解决上述3个问题，可将颜色范围做相应的扩大，同样以蓝底白字的车牌为例，可将各种不同的蓝色都包含到待识别颜色中，从而形成一个在颜色表上连续的颜色区域。颜色模型和色彩空间的转换为了科学地描述和使用颜色，人们提出了很多种颜色模型，目前常用的颜色模型按用途大体上可分为两类：一类是面向诸如视频监视器或打印机之类的硬件设备，最常用的是RGB模型；另一类面向以如动画中的彩色模型等彩色处理为目的，最常用的是HSI模型。另外在印刷工业上和电视信号传输中，经常使用CMYK和YUV色彩系统，这里对CMYK和YUV不做赘述。人的视觉系统存在着两种感光细胞，类似于CCD芯片上的感受基(像素)，分别为暗视器官的杆状细胞和明视器官的锥状细胞，锥状细胞将电磁光谱的可见光部分分为三个波段：红(Red，波长700姗)、绿(Green，波长546．1姗)、蓝(B1ue，435．8姗)，即为三基色。如2．1图所示，RGB颜色模型将所有颜色映射到一个立方体中，三维空间中的每一个点表示一种颜色，所有任意颜色都可以由三个取值为(0，1)的颜色分量来表示。原点(O，O，O)所对应的颜色为黑色，距离原点最远的顶点(1，l，1)对应的颜色为白色，从黑色到白色的灰度值分布在这两个点的连线上，该线称为灰度线。三个坐标轴所在顶点分别为三基色——红色(1，0，0)、绿色(O，1，0)、蓝色(O，0，1)。剩下三个对角对应于三基色的三个补色——黄色(1，1，O)、青色(O，l，1)、紫色(1，O，1)。 2车牌定位ZYX图2·1RGB颜色模型Fig．2—1RGBc010rmodel虽然用RGB模型描述颜色相对比较直观，但却不符合人眼的视觉原理。所以Munseu根据人的视觉系统观察彩色的方式提出了HSI模型。HSI模型中，H(Hue)表示色调，S(Saturation)表示饱和度，I(Intensitv)表示亮度。色调是反射光线中占优势的波长来决定的，主要是反映出该彩色最接近什么样的光谱波长，O。表示的颜色为红色，120。表示的颜色为绿色，240。表示的颜色为蓝色。O。一240。之间的颜色覆盖了所有的可见光谱的颜色，在240。～360。之间为人眼可见的非光谱色(紫色)，所以色调是反映颜色本质的属性。饱和度是指一个颜色的鲜明程度，饱和度越高，颜色越深，如深红、深绿等。饱和度参数是圆柱水平截面上原点到彩色点半径的长度，半径越长，白光就越少，其饱和度越大，圆柱体中轴饱和度为0，圆柱体圆周上缘饱和度为l，为纯的或者饱和的颜色。亮度是指光波作用于感受器所发生的效应，亮度的大小由物体的反射系数决定，反射系数越小，物体亮度越小，反之越大。底面圆心为黑色，顶面圆心为白色，底面圆心到顶面圆心之间的线为灰度线，而RGB模型的灰度线为立方体的对角线。RGB模型HSI与模型之间可以相互转换【lo】，用以下方法进行实现。首先将R，G，B归一化为[0，1】的r，g，b。具体公式为： 硕十学位论文RR+G+B2：——；-：(2．4)p=一IZ4J6R+G+口⋯～．BR+G+口将RGB模型转换成HSI模型可由下式得到，硝一南[曲(W，6)](2．5)办=·c。s—tE石=|!笔一jIl(，．一g)2+(，．一6)(g一6)ll由上式可以推出，办的范围是[O。，180。】，对应于g≥6，当g≤6时，办值大于180。，令办=360。一办，即可将办转换到[09，180。】区间。当，．=g=6时，办没有意义，此时定义办为0，当，．=g=6=O时，s没有意义，此时为黑色。将HSI模型转化到RGB模型可由下式得出，(1)当h在[o。～1200]之间时，易=砸一s)Ⅲ[1+赢]㈦6)g=3f一(6+，)(2)当h在[120。～2406]之间时，，=f(1一s)叫[t+搿]6=3i一(6+，．)(3)当h在[240。一360。]之间时，12(2．7) 2车牌定位g=f(1—5)：．㈦[，+鞘]眨8，6=3f一(6+，)2．2图像的预处理传统上由CCD摄像头采集的图像以BMP位图图像格式存储到计算机中，为了便于车牌图像定位、图像分割等后续处理，原始图像应尽量具有适当的亮度，较大的对比度和清晰可辨的车牌图像。但由于车牌识别大多是在户外进行的，存在诸如天气、浓雾、雨雪、光照强度和上拍摄距离、角度的不同等诸多原因，车牌可能出现模糊、歪斜甚至缺损等严重问题，因此需要对原始图像进行必要的预处理。由大量待识别的汽车图像中可以统计出，汽车牌照一般都悬挂在汽车的中下部，位于汽车散热进气栅格的下方，车辆的保险杠的上方，两个车灯的中间，即整幅图像的中部偏下部位，而且车身下部比较暗，在二值化之后大部分变为黑色，而上部会有车标、广告牌、汽车散热进气栅格、汽车保险杠等噪声与汽车车牌的某一项或某几项特征相类似，容易形成伪牌照，因此我们可以利用此先验知识从图片的底部向上扫描以加快速度，同时采用先粗搜索后细搜索的方法以提高运算速度，以便满足实时性的要求。2．2．1图像的灰度化处理由于我们之前采集到的都是彩色图像，里面包含丰富的颜色信息，颜色信息在我们后续的边缘检测和数学形态学运算中，作用都不大，而且占用系统资源，让处理变慢，所以在车牌定位前先将采集到的图像转化为灰度图像。将彩色图像转换为灰度图像的过程就叫做灰度化处理。灰度图像就是只有强度信息，而没有颜色信息的图像。灰度化的处理方法有三种，分别为平均值法、最大值法和加权平均值法，而我们通常选用加权平均值法来处理，其中三个权值分别为0．11、0．59和O．3。我们之前采集到的图像是24位真彩色位图，它的每一个像素由R、G、B三个分量构成，R、G、B的取值范围是0．255，所以灰度的级别是256级。我们通常采用下面的公式将其转换成为灰度图。．13 坝士学位论文／‘(z，少)=o．11×B(x，y)+o．59×G(x，夕)+o．3×R(x，少)(2．9)其中，厂(x?y)为(x，少)位置像素的灰度值，尺，G，口分别为(x!少)位置像素的红、绿、蓝颜色对应的彩色信息值。处理后的图像效果如下图：圈“掣rel■|l缓蠹i，b参蔓缓鳓⋯·-：_=-__⋯⋯一0氆汹函kX气嚣④《名·霞口圜。嚣四雾鬻鬻荔；i霪蓊戮i戮溺崩鬟蓊藿翳荔瑟瑟l缀i爱露i熙．!携．：!鹭蔓j嗍。磐缈寥·姆Dp!御蚋牌照．⋯：0酋日面％气j、99砭彳·j霪D嗣i鬟鬻i鬟攀鬻荔i嚣要豢凌鳓穰鬻鬻蠹翥图2．2原始图像与灰度化图像F嘻2—2Theo吨inalimagesandthegrayscaleimages2．2．2灰度拉伸由于亮度最大值和最小值的比值经常出现对比度不足的弊病，使人眼看到的图像效果很差，分辨不清，为达到使图像增强的目的，可对图像进行灰度变换，以显著改善人的视觉效果。最常用的灰度变换方法有两种，分别是灰度线性变换和分段线性变换。1．线性灰度变换：假定原图像厂(x，y)的灰度范围是[日，6]，希望将图像的灰度范围变换为[c，d]，则线性变换可表示为：g(训)=篙[m，少)一口卜(2．10)若图像灰度在0～M，范围内，其中大部分像素的灰度级分布在区间[日，6]，很少部分的灰度级超过了此区间，为改善增强效果，可令：g(x，y)=co≤厂(x，少)<臼篙[m，y)一口卜口≤小，y)<6(2．，，)d6≤／(z，少)g：(x，y)，说明像素点(x，y)处有垂直方向的边缘通过，反之则为有水平方向的边缘通过。如果像素点(x，y)处的像素值厂(x，y)满足下面两个条件组之一时，则判断它为边缘像素点，该点在输出的边缘图像中用“O”表示：否则判断该点为非边缘像素点，在输出的边缘图像中用“1”表示。条件组一：．①g(x，y)>c“比汐②g；(z，y)>＆(x，y)③g(x，J，一1)≤g(工，y)④g(z，y)≥g(x，y+1)条件组二：①g(x，y)>c”够②晶(x，y)>＆(x，y)③g(x—l，y)≤g(x，y)④g(x，y)≥g(x+1，y)假设图像的行数和列数分别为加w和J『衙，g(x，y)为边缘图像中点(x，y)的值。其中c扰f0∥按公式2．17计算，这样就可以将其边缘从原来的灰度图像中提取并表示出来。，仃wfJ捌c扰够=4×∑∑92(f，歹)，(，Dw×z衙)(2．17)，=l，=1．下面对几种常用算子检测的结果及比较17 硕士学位论文雹‘⋯。’，j型园～_=j；：二0Ie-qjn：÷仁+0e‘：j-‘‘to，一．，n00wHej0、：。E；=!i轧，j1’e“I，，一‘：J91吐二；Ⅵ二cj”}’一一7塞。}：+‘S+，：曩二童’“=。’一。，：1一一7o，矗·丢=z兰to*n芝壤毪删ore㈣t边臻硷麓园。啦re57j曼型⋯堕一0o勰磕赔l‰‰◇囝蟠彳·i磊i目蟊{鼹四～⋯：．．．⋯．．r．．⋯⋯．鬻荔篱篱鬻鬻瓣鬻瀚鞴黼黼黼缀鬻缪|l囊囊霪毳i麓鬻园F呼n6点誊：攀j纛jj¨⋯Ii}_ji”一jji奠j．÷姆生垂蔓雠酗凰蔓．墨熊!!曼氅．璺熙曼．三2黪，冀!蜘望煦婪!煦：!塑楚：乏．．羞之羔量j二．，．2誓锻国强l路：堍气秘密《彳-：露!日翳；镑露慝；戮鬻藏缀缀鬻戮灞磁鞴磁籀荔戮鹾i誊雾；琴黪图2．4各种算子进行边缘检测结果2．4图像形态学处理经过前期边缘检测凸出车牌边缘的图像中，既有车牌、车牌字符的边缘，也有背景图像的边缘和一些杂乱的噪声边缘，同时车牌本身也存在孔洞、突刺、缺陷噪声和断裂噪声等。如何从所有边缘中将无关的噪声边缘滤除，将合理的边缘保留下来，同时又能消除车牌自身的噪声，基于形态学的形态学图像变换就是实现这个目标的最有效途径之一。数学形态学的基本运算有4个：腐蚀、膨胀、开启和闭合。腐蚀是最基本的一种数学形态学运算，S对X的腐蚀用集合方式来定义为：zos={xls+x∈x)(2．18)从直观上看用S来腐蚀X的集合的含义是S完全包括在S中的原点位置的集合。腐蚀可以把小于结构元素的物体如毛刺，小凸起等去除，如果两个物体之间有细小的连通，通过选取适当的结构元素也可以将两个物体分1R 2车牌定位丌。园魄ure7FiIeEd{tViewInse陀T￡埒4sDesktop气帮indawHelpo园蠢舀i除!文曳勖@《彳-}雹：团圆黍l藜蓊囊蒸蒸纛蓊磊滋滋戮蘸荔戮戮图2．5腐蚀后的边缘图像Fig．2-5Thecollrodentedgeimages膨胀是相对于腐蚀的另一种基本的数学形态学运算，S对X的膨胀用集合的方式来定义为：xos=fx旧+石Ux≠91(2．19)园=B雌8一粤．戛遮逊j”巳呈!。!一∑!竺I旦婴一!曼!》旦三复壁!旦一!塑旦璺丝肇旦}p．一一⋯～⋯，』二叠0喀÷、-、，?9《口{；：，曩口囡露琶i．．i|。薅充蓐图像图2—6填充后的边缘图像Fig．2—6The行11ingedgeimages腐蚀可以看做是将图像X中的每一与结构元素S全等的子集S+x收缩为点x；反之，也可以将X中的每一个点．x扩大为S+x，这就是膨胀运算。膨胀运算在数学形态学中的作用是把图像周围的背景合并到物体中，对填补19 硕士学位论文图像分割后物体中的空洞很有用，而且膨胀运算可能会把两个距离比较远的物体连通在一起。开启是先对图像进行腐蚀，然后膨胀其结果。闭合是对图像先进行膨胀然后腐蚀其结果。对图像X以及结构元素S，用X。S表示X对S的开运算，用X·S表示X对S的闭运算，开启的运算定义为：X。S=fXOS)oS(2．20)闭合的运算定义为：X·‘SI=(XoS)0S(2．21)而且开、闭运算具有很多代数性质【12】，如对偶性、扩展和收缩性、单调性、平移不变性、等幂性等等。丌启和闭合不受原点是否在结构元素之中的影响。开启和闭合两种运算都可以除去比结构元素小的特定的图像细节，同时保证不会产生全局的几何失真。开启运算对边界进行了平滑，去掉了小于结构元素S的凹凸点，把比结构元素小的突刺和孤立的小点滤掉，切断细长的搭接而起到分离的作用，而保持总的位置和形状基本不变。闭合运算可以使图像中的像素粘连，把比结构元素小的缺口或孔洞填补上，弥合小裂缝，搭接短的间断而起到连通作用，并且也保持总的位置和形状基本不变。雹ej罾。re9}、嬖堕l璧垂飘百—面_荔i丽百ii面磊F蕊忑函面『_———————i■一?蠢掣瞻+、，-、◇④≤“一曩蚕日笺西．j。菇态滤涟后图缘图2．7形态学处理结果图像Fig．2—7Theimageofmorphologjcalprocessingresult20 2车牌定位2．5车牌提取传统的字符牌照分割技术是基于牌照字符边沿边缘检测会发生0．1跳变，所以特征量的取值范围可以按照如下方法得到：(1)上限的设定：我们考虑极端情形，车牌号中的五个数字均两次经过某一行(如“88888”中的上下半部分、)时，其边缘变化的频率最大且为20，当字母为“M”或“W”时，字母四次经过某一行，其边缘变化的频率最大且为8，当汉字为“藏”字时，扫描线经过该字时变化频率最大为12，同时考虑到存在干扰的情况，故可设定特征量的上限为50。(2)下限的设定：也考虑极端的情形，车牌号码五个数字均一次经过某一行(如“11111”)时，其边缘变化频率最小且为10，汉字和字母某一行都为单笔划(如“黑”、“J，，的最顶行)时，变化的频率最小且为4，因而变化频率的最小值应为14【131，同样考虑到牌照两侧可能存在干扰，特征量下限设为15；根据每一行、列的O．1跳变次数来设计对边缘区域提取，算法如下：1、从左至右、从下至上横坐标逐点扫描图像，判断前后两个点是否不同，如果不同则记录可能的起始点的位置，如果有两个间断点的距离小于设定阈值，则判断可能属于车牌区域，如果跳变点的间距都小于设定阈值，并且连续出现15个以上的跳变点，判断此区域为车牌区域，并记录下末点的横坐标；2、从下至上、从左至右纵坐标逐点扫描图像，判断前后两个点是否不同，如果不同则记录可能的起始点的位置，如果有两个间断点的距离小于设定阈值，则判断可能属于车牌区域，如果跳变点的间距都小于设定阈值，并’且连续出现8个以上的跳变点，判断此区域为车牌区域，并记录下末点的纵坐标；3、将上两步提取并记录的横、纵坐标作为车牌矩形区域的坐标将车牌提取出来。一 硕士学位论文∞“弘回j编羞磊编l量皇旦鱼二堕～三!∑墨j翌翌篓二⋯二定位剪切后的彩色毫牌凰像图2．8定位剪切后的彩色车牌图像Fig．2—8thecolOredlicenseplateimagea1Fterpositioningandclipping本文根据前期经过形态学处理后得到比较明显的矩形白色区域，提出的车牌定位方法是：根据前期进行图形学处理之后的图像进行行方向和列方向的像素点灰度值累计和统计，进行对车牌图像的定位。具体算法如下：(1)从下至上、从左至右扫描整幅图像，并且统计每一行白色像素总数，如果超过某一阈值(本文阈值取图像高度的1／20)，记录该行坐标；(2)从下至上、从左至右扫描整幅图像，并且统计每一列白色像素总数，如果超过某一阈值(本文阈值取图像高度的1／20)，记录该列坐标；(3)判断行、列坐标数组，若存在连续行与连续列个数大于设定的阈值，将连续行、列部分数组的首坐标作为提取矩形区域的左、上坐标，数组尾坐标作为矩形区域右、下坐标，将矩形存入矩形链表，继续进行判断，直至结束。—生日F砷㈨1黧纛。j二j二⋯?i牌；熊__蚋蟹煦旦哆粤粤。掣州唑=蚓黔，j■lj岛汹盎岛二，：、2@0“·．涅：B目。嚣蓝誊i蕤跨鬻l誊i鬻i荔i≤叠⋯?颡秀鲡京囊蠢囊菇囊瀚j霹图2—9行、列方向像素点灰度累计和Fig．2—9SummationQfpixelgrayValueinc01umnandrowdirection22 2车牌定位定蕴剪翔囊的簇毽豢牌图像ii；{≯jj匾垂瑟蓄蓊匿蕊；|1≮．jjj≥j曩jI||¨17j童||』』_j；I纛誊!毒i一≯≯瓣霪囊i蠹霉i。“。一。董誊．一■¨¨。i‘-。“j图2。10定位剪切后的彩色车牌图像Fig．2-10thecolored1icenseplateimageafterpositioningandclipping2．6基于颜色的定位颜色特征是车辆牌照的重要特性之一，合理的运用车牌颜色特征可以准确的定位出车牌位置【14·15J，但是单独运用车牌的底色特征进行车牌定位也有很多问题，最主要的问题首先是各省份的车牌底色没有统一，如黑龙江省的车牌底色为略浅的天蓝色，而北京的车牌底色为较深的蓝紫色；其二是由于摄像头一般在室外作业，所以不同时间光照也不尽相同，而光照也是影响车牌颜色的一个原因，在不同光照下，车牌的RGB分量也不完全相同；其三是车牌使用时间长短不同，其颜色也会褪色，从而影响到车牌颜色的统一。为了解决上述问题，可以将待识别车牌的颜色区问相应的稍作扩大，以最常见的蓝颜色为例，将各种不同的蓝色都包括到待识别的颜色中，从而在颜色表上形成一个连续的蓝色区间。由RGB图像转化为HIS图像的公式可以得出车牌中所包含各种颜色的HSl分量值，结果如表2．2、表2．3给出了固定搭配的颜色在饱和度、亮度之间的差异以及牌照底色的色调和亮度信息。，一”丁=一，_坐彳坐勖学一气巾F气：8|。T～曙诣～翌滔塑懑唑卷墼曩一 硕士学位论文表2．2车牌颜色HIS值：．。1’ab．2—2HISvalueofc010r表2．3车牌固定搭配颜色间的差异Tab．2—3di仃erencesofcolourstyles由上表可以看出，车牌颜色搭配类型在亮度方面存在着较大的差别，字符与车牌底色之间存在着明显的边缘，牌照的类型可由底色亮度值标志，尤其最为常见的蓝底白字和黄底黑字在底色亮度差别较大。2．7本章小节本章讨论的主要是车辆图像中的车牌定位问题，车牌定位问题是车牌识别的第一步，也是非常重要的一步。本章首先介绍了车牌的先验知识，如车牌的特征，车牌的颜色特性等，并且介绍了几种常用的车牌定位方法，然后提出了本文中的基于行方向和列方向的像素点灰度值累计和对车牌图像进2459缝托o260&O2O7O 2车牌定位行定位，论述了基于颜色的车牌提取技术，最后给出了实验结果。25 硕十学位论文3车牌分割3．1图像分割概述图像分割是由图像处理过渡到图像分析的基础工作，所以分割的好坏将直接影响到后续的步骤如：目标检测、特征提取、目标识别等工作的难易程度，多年来一直被人们所重视并进行了不断深入的研究。由于其重要性和困难性，虽然已经研究出上千种图像分割方法，但是到目前为止还没有一种通用的方法对所有图像都能获得良好的效果，也没有一个通用的标准来衡量一个分割是否成功。图像分割在实际中已经得到广泛的应用，例如在工业自动化、在线产品检测、文档图像处理、保安监视等等诸多领域【16】。图像分割的基本思想是根据图像像素点之间的相互区别与联系将原图像划分成一些互不相交的小区域【17】。图像分割可借助集合概念做如下数学描述：令集合R代表整个图像区域，对R的分割可看作将J5c分成若干个满足以下5个条件的非空子集(子区域)墨，R，．．．R。；打．(1)UR=尺；j=l(2)对所有的f和歹，f≠j『，有RnR，≠o；(3)对江1，2⋯．以，有尸(RJ=豫沈；(4)对f≠，，有尸(R，UR，l=尉L距；(5)对f=1，2⋯．刀，R．是连通的区域【¨。(3．1)其中尸(R)代表所有在集合R中元素的某种性质，9是空集。图像分割大体根据以下方法分为四类：基于像素灰度的两个特征：相似性和不连续性，根据区域内部像素灰度的相似性和区域之间像素灰度的不连续性可以分为基于区域内部像素灰度相似性的区域分割法和基于区域之间像素灰度不连续性的边缘检测法。基于处理的策略不同，分割方法又可分为并行方法和串行方法。在并行方法中，所有工作都可同时，独立地完成。而在串行方法中，早期得到的结果会被后续计算所利用。故四类算法分别为：l、并行边界(PB)类，主要包括：正交梯度算子，方向微分算子等；2、串行边界(SB)类，主要包括：图搜索，动态规划等；‘ 3车牌分割3、并行区域(PR)类，主要包括：阈值法，空间聚类法等；4、串行区域(SR)类，主要包括：区域生长，分裂合并等。目前比较热门并广泛应用的图像分割方法有：1、灰度阈值法；2、区域生长法；3、梯度算予法；4、动态规划法；5、活动轮廓模型法(Snake模型法)。3．1．1灰度阈值分割法灰度阈值分割法是一种简单的并行区域类分割技术，其计算简单，运算效率高，运算速度快，但由于其没有考虑空间特性，故此方法对噪声十分敏感。在实际应用中一般与其它的方法结合使用。其基本原理是在所有灰度值的取值范围内确定一个或多个阈值，将灰度图像分为几类，灰度值在同一类中即属于同一个目标。阈值又可分为全局阈值、局部阈值和动态阈值。全局阈值的数学描述为：gcx，y，=(言55；：二：；；三：c3．2，厂(x，夕)为原始灰度图像，f为所选取的阈值，g(x，y)为经过阈值分割后的二值图像。局部阈值法即为将图像分为若干个小区域，每个区域都确定一个阈值，每个小区域确定阈值的方法与全局阈值法相类似。动态阈值法中的阈值不但与任一点(x，y)的原始图像厂(x，y)以及该点邻域的某种局部性质有关，而且还与该点坐标(工，)，)相关，即对每一个像素求出一个阈值，对整幅图像求出一个闽值面。根据以上论述可知，灰度阈值分割法的关键即为阈值的选取，阈值的选取将决定图像分割效果的优劣。当阈值选取过大时，会丢失所需要的部分，过多的目标点被错误的归为背景，丢失了很多信息。当阈值选取过小时，会提取多余的部分，过多的背景被错误的归为目标，增加了很多虚假信息(当背景为白色目标为黑色时相反)。确定阈值最常见的方法为直方图法，如果直方图具有明显的双峰特性，则可获得较好的分割效果。如果目标与背景之间的灰度值差比较小，即灰度直方图双峰特性不明显时，用直方图方法就不太容易确定一个比较合适的阈值。此时，可用极小值点阈值方法、最优阈值方法、最大熵阈值方法、最大类间方差阈值方法等等，并且随着模糊数学、人工神经网络、小波变换及遗传算法等技术的发展，越来越多的新方法被提出并广泛应用。．27 坝十掌位论文3．1．2区域生长法和分裂合并法：‘区域生长法和分裂合并法是利用一幅图像中同一个区域的像素具有相似的属性，不同区域的像素具有不同的属性这一性质，将具有相同或相似属性的像素划分成一个区域，具有不同属性的像素划分成不同的区域。如果只利用一种属性进行分割时，分割方法就变成了利用这一属性进行的阈值分割法。阈值分割可以认为是将图像从上到下进行分开，而区域生长则相当于从下到上对像素进行合并【噶】。区域生长法和分裂合并法同阈值法一样常常不单独使用，而是同其他方法一起综合使用。区域生长法是从单个像素出发，逐渐合并以形成所需的分割结果。其基本方法是先确定所分割完区域的数目，并在每个区域中设定一个种子像素作为生长点，按照某种检测准则(可以是灰度级、彩色、纹理和某些统计特性)逐步地将种子像素周围的其他像素加入到种子像素和后加入像素所形成的这个区域里，即进行区域生长，最后对这个新区域用某种均匀测度函数测试其均匀性，若为真则继续生长，若为假则停止生长。区域生长法的关键点在于种子点位置的选择和检测准则的选取。检测准则应当根据实际情况选取。若选取不当，则直接影响最后的分割效果，形成过分割或欠分割的现象，所以通常要对分割的结果建立一定的模型。区域生长法的优点是计算简单，对于较均匀的联通目标具有较好的分割效果，并且由于考虑了空间特性，可以消除孤立噪声的干扰，具有很好的鲁棒性。其缺点是需要人为确定种子点，可能导致区域内有孔状货根本不连续的区域，而且小区域的影响可能造成原本分开的区域连接起来。分裂合并法是从整个图像出发，逐渐分裂合并以形成所需的分割结果。其基本方法是将原始图像分成任意大小且不重叠的若干个区域，再基于某种给定的分裂合并条件将图像分裂合并，以满足对图像的分割要求。最常用的方法是基于利用图像四叉树表达方法的迭代分裂合并法。R代表原始图像，P(·)表检验准则，足代表R的子区域。1、四叉树分裂：对任意区域足，若尸(置)=翩工．距，则将R，等分为四个不重叠的部分；2、四叉树合并：对于相邻的两个区域R和R，(可以大小不同)，若尸(RUR，1=豫汜，则将R。和R，合并起来。3、四叉树整合：如果不能继续进行进一步的分裂和合并，则整个过程结束。 3车牌分善0分裂合并的优点是不再需要种子像素，并且对自然景物等复杂图像的分割效果较好。其缺点是算法复杂，计算量大，影响分割速度，而且还有可能破坏原本区域的边界。3．1．3梯度算子法边缘总是以突变的形式表现出来，可以是灰度的突变纹理的突变或者是某种统计特性的突变等等，它存在于目标与背景，目标与目标，区域与区域，基元与基元之间。边缘其实就是灰度、纹理、或某种统计特性不连续的结果，这种不连续性可以通过求解导数来检测到，而且实际上数字图像处理中求导数是利用差分近似微分来进行的。边缘检测也可借助于空域微分算子通过卷积来完成，其方法是将模板在图像上移动并在每个位置计算对应中心像素的梯度值。图像边缘提取的常用的梯度算子有RobeIrts算子、Prewitt算子，Sobel算子和拉普拉斯算子等【l引。函数的微分中有高阶微分、偏微分等各种微分形式【l91，但在图像分割中最常用的微分是下面定义的梯度夥(x，y)和拉普拉斯V2厂(x，y)。虬，“，分别表示x，y轴上的单位向量。耵(w)三掣!％+掣盟甜，(3．3)G％c少。v2m，y)王氅掣+掣(3．4)c％c少。把高斯平滑滤波器和拉普拉斯锐化滤波器结合，先平滑调噪声，再进行边缘检测的方法叫做高斯拉普拉斯算子(简称为log算子)【20】。由于边缘和噪声表现为突变或不连续，在频域内均为高频分量，所以直接采用微分算子法很难克服噪声对分割结果的影响。因此，用微分算子对图像进行分割之前需要对图像进行平滑滤波处理。微分算子法的优点是计算简单，速度快，适合噪声小且不太复杂的图像。其缺点是对于边缘复杂，细节丰富，采光不均匀的图像分割效果十分不理想，分割后的图像会出现边缘模糊，边缘非单像素宽，弱边缘丢失和整体边缘不连续等问题。由于人类本身具有感知目标边界的高层视觉机理，而且目前我们对这些机理的认识还不是很深刻，所以至今为止还没有一个固定的评价各个算子性能的优劣准则。3．1．4图搜索在用方向微分算子法或者正交梯度算子法等并行边界类检测时，对各个图像点是独立进行的，只利用了整幅图像的局部信息，所以如果图像受到了29 噪声较大的影响，那么用并行边界类检测的效果较差，而在串行边界类中由于考虑了图像边界的全局信息，故在受噪声影响较大的情况下也可得到较为理想的分割结果。图搜索的基本思想是先把边界点和边界段用图结构表示，通过在图中进行搜索，对应最小代价的通道找到闭合边界。这种方法受起始点的影响很大，而且计算方法十分复杂，计算量也特别大，所以常常为了加快运算速度，使用动态规划的方法，其借助启发性知识，减少了搜索节点数，加快了搜索的速度，但其求出的只是次优解。3．1．5活动轮廓模型法活动轮廓模型法(Snake模型法)最初是由Kass在1987年第一届计算机国际视觉会议上提出【21]。其基本思想是首先人为的在目标边界附近确定活动轮廓，然后根据曲线的能量最小化原则对活动轮廓进行变形，使我们设置的活动轮廓停留在目标边界轮廓上。活动轮廓模型也称为Snake模型，是由于在其逼近目标轮廓过程中，活动轮廓像蛇一样不断改变自身的形状。原始的Snake模型是由一组控制点矿(s)=[x(s)，J，(s)]s∈[o，1】(3．5)组成，这些点首尾以直线相接构成封闭曲线，其中xl-s)和yIsJ别表示每个控制点在图像中的坐标位置，s是以傅里叶变换形式描述边界的自变量。Snake控制点定义的能量函数为：耻州纠+p酬2+吃㈤卜㈦6，其中善ll昙吖产称为弹性哗其作用是能迅速地将活动轮廓压缩成一个光滑的圆形。J[I等俨i2产称为弯曲能量，其作用是使轮廓线变成光滑的曲线或者直线。弹性能量和弯曲能量合称为内部能量，主要用于控制封闭曲线的弹性形变。善(％e(5)]弘称为外部能量，一般取控制点或连线所在位置的局部特征，一如梯度 3车牌分割％№)1=户№)1：一阿v)12：．(3．7)＼／＼／其作用是使活动轮廓向图像高梯度位置靠拢，整个工作就是在这三个力的联合作用下完成的。Snake模型的优点是有效的利用了图像局部与整体的特征，能够相对准确的提取和跟踪目标轮廓，从而实现对目标的分割。其缺点是被分割的物体必须是完全包含在初始的活动轮廓中，否则在目标内部的控制点将无法靠拢到物体的边界，活动轮廓最终很难收敛到曲率高的边界上，而且在背景复杂的多目标分割中效果也不佳【6】。尽管活动轮廓模型的理论研究还很不完善，应用研究还刚刚起步，但它所提出的新思想及其广泛的应用已经证明了它的价值[221。3．1．6粗糙集与人工神经网络相结合的方法20世纪80年代初，波兰的PaWlak针对GFrege的边界线区域思想提出了粗糙集(RoughSet)【23J。目前已经成功应用于数据挖掘、模式识别、机器学习、过程控制等诸多领域【241。在基于粗糙集的属性约减中最常用的是基于差别矩阵的属性约减【25，26，271。一个决策系统可以表示为一个四元组s=(u，cUD，矿，．厂)，其中u为论域，即系统中所有对象的有限集；c={口l，呸，⋯，％)为条件属性集合；D={儡，破，⋯，码)为决策属性集合；y=U圪为对象属性取值范围的集合；圪表示属性口∈么的值域；7r为一个映射函数Ux4专y，它指定了论域中任意对象的属性值【2引。近年来，随着人工神经网络的发展，很多人应用神经网络的理论进行图像分割，应用最多的为BP(Backpropagation)神经网络。BP神经网络算法在于利用输出层的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差12刚。算法分为两个阶段：第一阶段(正向过程)输入信息以输入层经隐层逐层计算各单元的输出值；第二阶段(反向过程)内输出误差逐层向前算出隐层各单元的误差，并用此误差修正前层权值119】。由于在利用BP神经网络进行图像分割时经常出现大数吃小数和部分代表重要特征的学习样本数量不足，导致相关的神经元连接权得不到充分的调整等问题，所以文献129J中对BP神经网络进行改进，在输入层和隐藏层之间加入了归一化层，并且在输出层后加入了数据还原层，用以解决这些问题。 硕士学位论文隐藏痿麓出屡期望壤出霉师信号图3-lBP人工神经网络结构图Fig．3—1BPaftificialneuralnetworkslructureBP神经网络对图像进行分割的本质是，将待处理图像中各点进行聚类，目标像素和非目标像素【291。文献30给出了一种方法，其基本思想为：首先利用粗糙集理论对图像属性进行约减，消除冗余信息以及对分割效果影响微弱的属性，提取关键属性作为神经网络的输入，并训练BP神经网络，直到分割效果没有明显改进为止。其缺点为训练神经网络需要大量样本，并且不容易收敛；优点是对于信噪比比较低的图像也能够达到比较理想的效果。图像分割应用十分广泛，是图像处理过渡到图像分析必不可少的重要环节，是一个经典难题，也是图像分析发展的瓶颈之一。但至今还没有制定出选择适用分割方法的标准，所以仍需要对图像分割技术进行更深入的研究，不断改善原有的方法，并与先进技术结合起来，向着更精确、更方便的方向发展。3．2二值化处理将取值为0～255共256个灰度值的灰度图像转换为只有O和255两种颜色的图像称为图像的二值化。在二值图像存储矩阵中，只有0和1两种值。在数字图像处理中，二值图像以其减少图像信息、处理速度快等优势占有着非常重要的地位。一幅灰度图像的灰度级范围为o～255，用厂(五少)表示图像中每一点的灰度值，设阈值为r(o≤丁≤255)，则二值化可表示为： 咖川=托嬲三㈦8，g(x，y)表示二值化后图像中各点的值。二值化后，g(x，y)=o的点为背景，g(_)c，y)=1的点为目标。选取不同的阈值会出现不同的效果，如果阈值选取过大，则很多目标点就被错误的归入背景；相反如果阈值选取得过小，则会出现背景点被错误的归入目标点。由于我国车牌颜色、种类比较多，而且采集到的图像中背景也比较复杂，因此很难找到一个对所有图像都适合的二值化方法，找到一个合适的阈值就变成二值化方法的关键因素。常用的几种算法(1)双峰法。做出输入图像的直方图，大量统计表明，在目标和背景有较强对比的图像直方图上一般会出现两个峰值，其中一个处于目标灰度区域中，另一个处于背景灰度区域中。所以在两个峰值的中间波谷处可选取最佳的阈值。(2)微分直方图法。此算法利用灰度变化率即微分直方图来确定阈值。如果图像中的目标和背景的边界处于灰度值急剧变化的部分，则不直接利用其灰度值，而是利用其微分值作为阈值。微分值是灰度的变化率，可以有多种定义，比如某一像素和其周围邻域各像素的灰度差的最大值，或是各个差的绝对平均值，由此求出微分直方图，微分直方图中的峰值就是所求的阈值。(3)最大方差法。在图像的灰度直方图中，把图像的灰度值集合用阈值分为两组，通过两组的最佳分离来确定阈值，即使组间方差与组内方差之比达到最大，此时即为最佳阈值【71。二值化方法根据阈值选取情况，可分为全局阈值法和局部阂值法。最为典型的全局阈值法之一为0tsu法【3l】，也称为最大类间方差阈值分割方法，由Otsu于1979年提出。这种二值化的阈值选取算法比较简单，从而得到了广泛的应用。0tsu方法的基本思想是，设定一个前景与背景的分割函数，分别计算其所占比例，并计算出总平均灰度。然后从最小灰度值到最大灰度值遍历，当两类像素的平均值方差(类间方差)和两个类各自的均方差(类内方差)比取得最大值时，该阈值即为二值化图像的最佳阈值。虽然大津法是一个常用的算法，但由于本身对分割阈值进行迭代，以灰度分布为特征，全局最大值不能保证即是正确的阈值，在光照不均匀环境中， 坝士学位论文整幅图像往往无法找到一个合适的单一阈值，因而在车牌识别系统中，它的使用受到～定的限制。局部阈值法通过定义考察点的邻域，并由邻域计算模板，实现考察点灰度与邻域点的比较。非均匀光照条件等情况虽然影响整体图像的灰度分布却不影响局部的图像性质，从而局部阈值法比全局阈值法有着更广泛的应用。但局部阈值法的缺点是速度慢，不能保证连通性。Bemsen算法【32J是一种非常典型的局部阈值法。该方法的基本思想就是利用邻域模板窗口中各像素灰度级最大值和最小值的平均值作为该窗口中心像素的阈值。阈值计算公式如(3．91：厂]丁(w)=¨L爨，厂(x+尼，少+『)+一熙2，厂(x+尼，y+钏‘3．9)Bemsen算法存在运行速度慢，有伪影现象发生以及易出现断裂现象等不足之处【331。但随着计算机硬件性能的提高，部分学者针对上述不足，改进了算法。改进后的算法不但充分考虑到了图像的整体特征，并且采用快速算法，将获取阈值的速度大大提高?雹=幽?∈lj三·曼逛堕丝‘FjkE幽VievlnsefToo}：DesIctoWindo。He}【'≥癌翟裔瞻l笺。夏黝么t"车糖灰度图像l露豳图3．2车牌灰度化效果图Fig．3—2Grayscalerenderingsof“censeplate园吨岍14”}旦婆}递型Fi{∈Ed“硼鲥lnserTool：Desl(to谢呐do。Helf_3若谴滔{呤j≮氧勖彳，"—H～⋯一_-_^u●_-‘●●●～H一⋯⋯一⋯～H二值_il：车牌图像圃嘲图3．3车牌图像二值化效果图Fig．3—3Binariza“onrenderingsoflieenseplateimage34 3车牌分割3．3车牌图像的预处理3．3．1车牌图像背景色的统一由于车牌由字符和背景两种颜色组成，字符颜色的亮度高于背景颜色的亮度的情况是蓝底白字白框、黑底白字(红字：“领”或“使”)白框(红框)。其二值化结果前景字符为白色，背景为黑色。当字符颜色的亮度低于背景颜色的亮度，如黄底黑字黑框。这种车牌二值化结果与其它车牌二值化结果的颜色相反，其前景字符为黑色，背景为白色。为了后续处理方便，所以此时应将其背景色统一成黑底白字在车牌图像的通常情况下都是前景目标点的点数少、背景颜色点的点数多。根据车牌的这一特性，可通过统计出图像中黑白像素的个数的方法，来确认图像背景色是否统一，该方法对于最常见的蓝底白字等字符亮度低于背景颜色亮度的车牌，可直接进入后续处理，如果发现是黄底黑字图像，则要利用求反函数直接变为白底黑字图像。囡F嘲re1三{。里羔型壁』颜色归__能图3—4车牌图片背景色统一效果图Fig．3—4UniformrenderingsofbackgroundcoIorsfbrlicenseplateimage3．3．2车牌的倾斜校正通过对大量采集到的车牌图像进行观察，可以看出图像中主要存在两种角度倾斜，一是由于图像采集设备(一般为ccd摄像头)本身存在角度倾斜，导致同一采集设备采集到的所有车牌图像都有相同的倾斜角度。另外一种就是当车牌在车辆上由于悬挂的原因倾斜角度过大时，导致车牌存在一定的倾斜角度，所以大多数情况都需要对牌照进行倾斜矫正。一般情况下倾斜模式有三种，分别为：水平倾斜、垂直倾斜和水平垂直3S 硕十学位论文倾斜【3钔。如下图所示yt^义分。形X＼7X图3．5水平倾斜图3．6垂直倾斜图3．7水平垂直倾斜Fig．3—5HorizontaltiltFig．3-6VerticaltiltFig．3-7Horizol】【talandverticaltilt图3．5为水平倾斜，这时车牌的水平轴x’与图像的水平轴x有一个倾斜角度0【，只要求取a，将图像旋转．a即可。图3—6为垂直倾斜，这种情况时的倾斜实质上是同一行像素的错位偏移。只要检测到垂直倾斜角度D，然后根据垂直倾斜角度p进行错位偏移校正即可。图3．7为水平、垂直倾斜，既存在水平倾斜又存在垂直倾斜。可以先检测水平倾斜角度a进行水平倾斜校正，然后再求取垂直倾斜角度B进行垂直倾斜校正。最常用的倾斜校正方法，Hough变换法：Hough变换是Hou曲于1962年提出的一种形状匹配技术，运用图像空间到参数空间之间的变换来检测平面内的直线和有规律的曲线。其基本思想是点与线的对偶性，将图像空间的线条变为参数空间的点，从而检测图像中是否存在给定性质的线条。Hou曲变换的主要优点是在待测直线有微小扰动和断裂并且噪声相对较大时，也同样具有很强的检测能力。下面介绍一下Hou曲变换的主要原理。在图像空间中，直线的表示方法为y=蕊+6，将其转换到极坐标中，该直线可以表示成p2xcos(o)+J，sin(e)(3．10)其中p为原点到这条直线的距离，e为法线与x轴的夹角。假设已知x，y平面上的特定点(薯，咒)，则过该点的直线有很多，且都满足以和咒作为常量的y=觚+6等式，每一条直线都对应了p，0空间的一个点，因此在p，0空间中，所有z，y空间中的任意点对应的是一条正弦曲线，．x，y空间中的任意一条直线对应于p，e空间中的一个点。3f； 3军牌分割而且x，y平面的任一条直线中的两点对应于p，0空间的两条曲线，在图像空间中两点所决定的直线，对应于极坐标空间中的两条曲线的交点。极坐标空间中两条曲线p=‘cos(o)+乃sin(o)和p=■cos(e)+乃sill(e)的交点就是对应于原图像空间中(‘，只)(xf，yf)两点决定的那条直线。如果在图像空间中的一条直线上有N个点，那么在极坐标空间就有N条不同曲线相交于同一个点。根据上面的结论可以得出Hou曲变换来检测直线就是将参数空间量化成许多方格，对于每个厂(葺，y，)=l点，将事先知道的e的量化值代人到p=tcos(o)+只sin(e)，计算出p的值。在对应p值的小方格里面加一，当完成所有的(葺，咒)变换后，对所有方格里面累加器的数值进行统计，累加器的值对应于图像空间中直线上点的数目，计数值大的小方格就是参数空间中的共线点，对应于图像空间中的一条直线，计数值小的小方格一般对应非共线点，这时应将计数值小的小方格进行舍弃处理。在计算过程中，如果p和e量化得过粗，那么参数空间的凝聚效果就会较差，找不到直线准确的p和0值；相反，如果p和0量化得过细，则计算量将会增大，所以需要兼顾到这两个方面，选取合适的量化值。Hough变换在运用于车牌的倾斜校正时，目的是采用Hou曲变换来检测定位后车牌的上下边框这两条平行直线的倾斜角，然后对车牌进行倾斜校—。r止。具体步骤为：1、对定位的车牌区域采用sobel算子进行边缘检测，并且将边缘图像进行二值化处理。2、首先初始化一个p，0空间的数组，p方向上的量化数目设定为图像对角线方向像素数的一半，对角线上面两个像素对应一个方格；e方向上的量化数目设定为90，e角度为0～180度，设定每两度对应一格。这样设定的话允许测定的直线可以有微小的弯曲。3、对二值图像进行搜索，对于图像中的每个点在对应的变换域中加1。4、求出变换域中的最大点，清除其附近的点。5、求出变换域中次大的点。6、判断两个最大值对应的两条直线是否平行。7、如果平行则为车牌边框，求出直线倾斜角度，并按照此角度进行旋转。水平校正方法： 硕十学位论文与原点距离为r的点(而，％)绕原点旋转仅角度后坐标变为(_，乃)的公式为：垂直校正方法：由于垂直校正只是把对应点纵坐标不变，水平移动缸即可，所以将倾斜角度为p的(而，‰)点调整到(五，M)点的计算公式为：髓慨协∽’因哟{Jre16l=|t|∈Ed小Vi鲋In；：s}e7rToIobDesl∞缚|_fldo。Hek_『百百谣虿l百了秀忑夏～可一才：⋯‘_＼⋯——⋯——————⋯，。j。二⋯～、，二一⋯．。—．——～⋯⋯⋯⋯+。⋯⋯⋯————。。～⋯～颧斜藏霞后的三值图像3．3．3边框的去除图3．8倾斜校正后的二值图像Fig．3-8Tiltcorrectedbinaryimage(3．12)对于部分在车牌定位中被定位到车牌区域的边框，在车牌进行倾斜校正之后，由于定位出的车牌区域中车牌边框的颜色与待分割字符的颜色相同，在后续的字符分割中属于无用的噪声，所以应该在字符分割前去除这些噪声干扰。车牌的上下边框对车牌字符分割的影响最大，由于上下边框的存在，使得车牌字符垂直投影的值全部大于零，因为没有了零点的存在，使得我们在字符分割中不能准确分割出每个字符，所以应该首先去除上下边框。在去除上下边框时，我们采用检测0．1跳变的方法[351。O一1跳变即在每一条水平线上由黑变白，或者由白变黑的次数。由上一章中分析可知，车牌上面都由7个字符组成，所以在字符区域中会发生0．1跳变，而在非字符区气R，叫吣州wh町他叫．口”喵=|f甓 3车牌分剖域中由于边框颜色单一，则不会或出现很少的0．1跳变，我们考虑极端情形，当车牌号中的五个数字均两次经过某一行(如“88888”中的上下半部分)时，其边缘变化的频率最大且为20，当字母为“M”或“w”时，字母四次经过某一行，其边缘变化的频率最大且为8，当汉字为“藏”字时，扫描线经过陔字时变化频率最大为12；当车牌号码五个数字均一次经过某一行(如“1111”)时，其边缘变化频率最小且为10，汉字和字母某一行都为单笔划(如“黑”、“J”的最顶行)时，变化的频率最小且为4，因而变化频率的最小值应为14，同样考虑到牌照两侧可能存在干扰，并且边框的跳变数会非常小，所以我们取变换频率的最小值14作为判断是否为上下边框的标志。判断的具体方法为：1、计算车牌区域每条水平线上由黑变白和由白变黑的跳变次数，如果次数大于14，则认为此行为字符区域，如果跳变次数小于14，则认为此行为非字符区域，并且将此行消除，全部变为白色。2、如果所有被认定的字符区域全部连续的情况下，则认为连续的字符的最上面一行为字符区域的上边界，最下面的一行为字符区域的下边界。3、如果认定的字符区域没有全部连续，则主要因为噪声的存在，我们可以先选取连续行数最多的区域，首先认定为字符区域，然后将其与上下被认定的区域比较，如果其它被认定的字符区域连续行数与所选取的最多行数的区域高度差不多，并且两行间距很小，则将其合并，否则将其抛弃不用。直至所有被认定为字符区域的行全部合并或者舍弃后，得到的即为最终的字符区域。其字符区域的最上面一行认为是字符区域的上边界，最下面一行为字符区域的下边界。经过上述方法，即可将车牌上下边界去除。雹F啪re17睦．．．埋：警蔓壁型i璺!曼曼!；!i!．鞠曼竺jJnL堡三。三曼璺垦。旦曼!塑旦竺型蜊曼曼拿!|!；!⋯三』|_3翟懑j刍睡≯=i!=、三、魏国名，"!卜一墨⋯_曩一____⋯～一_舅⋯⋯～_⋯⋯⋯⋯⋯⋯⋯{}去陈边框卜鼬黧幽|；-_|jI：{!；¨．?≥i¨_ji。{|．___一jo㈠图3—9去除边框Fig．3·9RemoValofborder39 硕十学位论文由于车牌下边框上面带有车辆标致，也含有0．1跳变，所以未能去除，在今后的工作中可继续研究。对应去除车牌左右边框，我们可以采用垂直投影的方法，由于在上部中去除了上下边框，使得在垂直投影中有了零点的存在，可以很方便的去除左右边框，而且这步也可以放在后续的字符分割中一并处理。3．4字符分割车牌经过倾斜校正、去除边框等步骤后，下一个步骤就是进行字符分割。字符分割就是在经过上面处理后的车牌图像中将字符串分割成单个的字符图像，准确的字符分割很重要，字符分割效果的好坏将直接影响到后续车牌的识别率。为了提高分割的准确性，车牌构成的先验知识也是非常重要的。字符分割大体可以分为以下三种方法：l、垂直投影分割法。该方法的基本思想是首先将图像转化为二值图像，然后将图像的像素灰度值在垂直方向累加求和，由于车牌图像中字符与字符之间存有间隙，因此在投影图中会在字符区域出现特殊的波峰，在两个字符之间出现谷底。我们可以找到两个波峰之间的谷底，将其作为两个字符之间分割的位置。此方法的优点是便于设计和操作，并且运行速度快，执行时间短。但如果没有事先进行形态学运算，由于存在的噪声和图像经过倾斜校正后出现的毛刺，则利用垂直投影后的的波谷也会和字符本身的波动混淆，造成谷底不明显等情况，形成分割误差或者分割错误，影响后续的字符识别。2、连通域分割法。基本方法是根据车牌字符的先验知识，得到车牌的第二个到第七个字符为数字或字母，均构成了一个独立的连通域，我们只需找到这六个连通域的最小区域矩阵，就可以得到这六个字符的位置。而汉字如“川”则不具备连通性的，一个字得到三个连通域，这时我们可以将其与后面的连通域进行比较分析，进行合并或舍弃。运用此方法进行分割可以得到比较好的分割效果，但需要设计其它方法来排除噪声干扰和独立出来汉字字符，并且运行速度慢，适合图像较小时的字符分割。3、模板匹配分割法【361。该方法是水平投影法的另外一种形式，要比水平投影法对边界的划分得更加准确。其主要方法是首先定位字符上下边界，建立字符串匹配模板，然后在二值图上计算车牌字符串图像的垂直投影，将车牌字符垂直投影在水平方向上用向量的形式表示，搜索局部最小值得到一个波谷位置序列，将位置相邻两个波谷分别作为矩形的左右边界提取出一组矩形区，并根据先验知识对提取出的矩形序列进行调整大小、分裂、合并和40 31i三牌分割删除。该方法较好地解决了汉字不连通、背景噪声干扰、车牌尺寸大小不一、车牌字符粘连等问题，并且在运行速度上比较快。但是该方法的程序逻辑设计复杂，需事先对车牌边框进行去除。3．5本文采取的字符分割算法对车辆图像经过上述一系列的预处理之后，得到的车牌图像基本上已经满足进行单个字符分割的要求。根据车牌的先验知识得知每个字符之间都有间隙，我们以此为依据进行单个字符的分割。当对所得车牌做竖直投影时，可以明显看到在字符之间间隔的位置有明显的波谷，可以很方便将字符分割出来。园F啪艟1￡I旦二垦■孝汹治{瞻笺气黪固霍彳，}磊；日固麓西虿露爱曩磊甄磊瑟曩露曩纛曩i乏曩瑟嚣i’iz囊w?焉爱i鼍露瑟I『焉再嚣焉j曩摹篡，磐。⋯z粥墨焉譬_一墨=’j_一黧．：=。鬟豢荔鬻鬻j譬羹叠，j著ijijii|『{『；别方捅缀素蕉灰废氆熏r}孵畦～善。：薯i≯=≤I。。“??列信图3-10歹0方向像素点灰度值累加和Fig．3—10SummationofpixelgrayValueinc01umndirection在信噪比比较高的情况下，每两个字符之间都应该存在波谷，并且波谷的值应该为0，但由于车牌的污损或者拍摄条件限制等问题，会出现信噪比比较低的图像，波谷的值将会大于O。这时我们可以设定一个投影值的下限min—trough作为判断是否为真实波谷的阈值，利用这个阈值把车牌图像分成单个字符，并进行后续的识别工作。算法的具体步骤为：1、、定义以下五个变量并令数组所有原俗和变量的初始值都为零，五个41●●Ii¨iip．．．．。．．．，．．．．．．——．．I．、．．．．．，．—．．J．．．。．．．．．，r淄戮娥馓～*．、∞鬻鳓删瀚∥臻豢戮峨糕黪羞髅。 倾士学位论文变量分别为：下标的最大值等于车牌图像列数的投影数组proiectfn]，记录车牌图像上各个字符左右边界波峰的两个数组peaK一】eR[m]和peaK—ri曲t[m]，波谷数量的变量troughnum和当前代表波峰还是波谷的状态变量peakortrou曲，其中1代表波峰，2代表波谷。2、对经过上述预处理的车牌图像进行逐列循环，并且令每列的变量i的范围为0k>⋯>kz变换矩阵的行为C，的特征值，则变换矩阵为4=妣l咖12也。也：巾_Ⅳz1审Ⅳz2饥Ⅳ：巾2Ⅳ：咖Ⅳ2Ⅳ2(4．7)帆对应第i个特征向量的第j个分量。K—L定义为】，=彳(x一肌。)(4．8)式中Y为新产生的图像向量，(x—m，)为原始图像向量x减去均值向量朋，，被称为中心化的图像向量。K．L变换的基本计算步骤：1、求协方差矩阵C。；2、求协方差矩阵的特征值九；’3、求相应的特征向量巾f．51 硕士学位论文4、用特征向量巾，构成变换矩阵A，求出】，=么(x一致)局部特征统计方法中局部特征有很多种，例如：局部灰度特征、扫描法、投影特征等等，其中最为典型、应用最为广泛的是局部灰度特征，也称为粗网格特征。该方法首先待识别的字符进行大小和位置的归一化，然后划分成固定或弹性的网格，统计出每个网格中目标像素点的个数或者平均灰度，得到维数为网格数目的特征向量。局部灰度特征方法的基本步骤为：1、将字符分成Ⅳ×Ⅳ个网格；2、统计每个网格中的像素数量，当像素数量占网格一定比例时，设置网格的特征值；3、把各个网格的特征值组合起来作为字符的统计特征以识别字符。粗网格特征的缺点是鲁棒性比较差，也就是说抗位置变化能力比较差，在识别过程中原本是将待识别字符的网格特征与标准网格特征的对应网格进行比较，但是当字符的位置发生变化时，例如字符的倾斜、偏移等将导致对应网格之间的错位，从而大大降低了系统的识别率。结构方法与统计方法的对比字符识别的结构特征方法主要优点是：l、特征的选取比较容易，能够容易的描述字符的结构，将字符模式整体分解为笔划、笔段和字根等子模式。2、对噪声和畸变的影响较小，具有较强的鲁棒性，而且训练时所需要的样本数也较少。3、在识别的过程中可以有效地结合几何知识，所以得到的识别结果可靠性较高。4、结构特征对细微变化比较敏感，可以较好的分辨出结构上的细微差别，因而在区分相近或相似字时，效果会比统计方法好。缺点主要是：1、提取子模式比较困难，大量资料表明，任何一种特征都很难完美地代表任意模式。2、在实际问题中，最重要的特征往往很难被找到，或者由于受条件的限制，不能对找到的特征进行测量，使得特征的选择和提取任务变得复杂。3、计算量大，特征提取比较困难，由于描述字符结构特征在算法实现上比较复杂，占用的存储资源比较多，识别速度也比较慢。52 4汽车牌照的罕得特征字符识别统计特征方法的优点主要是：l、对噪声不敏感，影响较小，具有较强的稳定性和鲁棒性。2、在选定了使用某种特征后，对该特征提取的算法比较简单，并且易于训练，在给定的训练集上能够得到相对较高的识别率。缺点主要是：1、在特征选择上比较困难，主要由于字符的形态多变、没有统一的标准，影响到处理的难度。2、如果没有选取恰当的特征，则对模式的分类没有帮助，反而有可能会破坏模式类别的可分性。3、字符统计特征对字符上细微的差别反映不灵敏，对相似字辨别的能力比较弱，因而不能够很好地区分相似字之间一些细节上的差异，对字符的细分类效果不好。因此，很多学者都致力于寻求将上述二种方法的优点有机结合起来的特征提取方法。在本文中，在保证识别率的基础上，为了加快神经网络的运行速度，对阿拉伯数字、大写英文字母和汉字的字符特征提取，采取了不同的提取方法。根据阿拉伯数字和大写英文字母笔画比较少，可以提取维数较少的向量进行特征提取，本文针对于阿拉伯数字和大写英文字母采用技术比较成熟而且适应性较好的13点特征提取法进行特征提取，该方法的基本思想是直接利用每个点的像素值作为特征提取的基础，统计提取出13个特征点。13个特征点的提取分别是：首先把字符等分成4×2大小共8等份，并且统计出每一等份内像素点的个数作为其中的前8个特征；然后将字符等分成lx3和3×1两种情况，分别统计竖直方向上中间两列和水平方向上中间两列的目标像素的个数作为接下来的4个特征，也就是画四条穿过竖直方向和水平方向的直线，统计所画4条直线所穿过的目标像素的个数；第13个特征为统计整个字符中所有目标像素的个数，将得到的这个个数作为一个整体特征，从而一共得到了关于该字符的13个特征。这样，对于每一个输入样本，输入节点个数为l3个。 硕。}：学位论文匿固圜(a)1—8维(b)9—10堂爱图4．5十三点特征提取法(c)”一12维Fig．4-5ThineenCharacteristicsExtractionAlgorithm后经实验结果分析，13点特征法对于大写字母和阿拉伯数字识别率比较高，但由于汉字的结构复杂，情况多变，不能同大写英文字母和数字一样采用13点特征提取，该方法对于正确识别车牌中汉字所要提取的特征数不够，识别结果的准确率低，所以本文针对汉字特征提取采用基于13点特征法的改进方法，本文将汉字等分成10×4共40个网格，分别计算每个网格内的像素总数，将其作为前40个特征值，由于字符全部被归一化为50×20大小，并且根据汉字的结构特征，所以分别取第l、lO、20、25、30、40、50行的像素累加和作为7个特征值，取1、5、10、15、20共5个特征值，最后计算整幅图像的像素总数作为一个特征，共计53个特征。本文对于样本中“黑”的二值矩阵和提取的特征如下所示：图4．6样本“黑”的二值化矩阵Fig．4-6binarymatrixofsample‘‘黑’’W㈦㈠璩雕㈧㈠㈡㈠埘—一。，，。。。。i，：，。。。，，，，。。。。。。，，。。。。。。，。。。。。。。。。。。。一一，。，，。。。。i，：，。。。，，，，。。。。。。，，。。。。。。，。。。。。。。。。。。。一1。。。。。。。。}。。。。。。。。。。。。。。。。。。。。。。。。，。。。。。。。。。。。。一rlooooooo口ooooooooolI￡ooooootloooo001looooo口ooooo职w1。o。。。。。口o。。o。。。。。。。。。。。。。。。，。。。。。o。，。。o。。口。。。。。埘r】o口。寸口oo口1】oOonoD01l口oon口oollo尊oooollOoOooooooo审譬一㈠㈠㈠㈠㈠㈠㈠㈠㈠㈡㈧燃q。。。守e垂。。。。，，。。。。。。，。。。。。。。。，，。。。。寸。，：。。。。。。。。。。。棚～，，，。。。。。口：j，，。。。。。：。，。。。。。，：：。。。。。。，。。。。。。。廿。。。。一苫llil00000llilOOODllllOOOOlllL000011llOOOO口OO000D蓥一，|Hllllllllliililllil}liIL}lltlLiloaoooooD090∞一：。：。。。。。。，，：，。。。。。。。。。。。。，。。。。。。。。i。。。。。。。。。。。～Y，。。oooo。。，，，。。。oo。。ooo。。oo，，。。oooo。，，oo。oo。oooao鼍i一埘1，。。。eoo。o。，08。。。oo，oo。。。。。o。。。。oo。。，，。oo。口。。。o。o糯v。。ooo。口。日日。。。。oo廿o，。。。。。。o肆。。。oo。o。，，。。。。。。。。o。o舭一。，∥Y。。o。ooa。o。口o。。o口口o。oooo。。。o。。。oo。。o。。a。oa。oo口oo。庸v。，。。oo。。oo。o。。oo。o。。ooo。。。。。。。。口。o。，。。ooo口。o。oo。瓣一，，，，。。。。。口。。。。。。。，。。。。。。日。。，：。。口。。。。。。。。8。。。。。8。舢xilllllllllllllllllloooooooolloDeeoollooooooooooo瓣1，，，。，，。。。，，，。。，，，，。。。。。。。。。，，。。ee。。：：。。。。。。。。。。。一 4汽车牌照的字符特征表4．1汉字“黑”的统计特征Tab．4．1Chinesecharacter‘‘黑’’characteristics4．4分类器的选择本文针对车牌的固定格式，以及现在车牌号码的标准，采用神经网络分类器，为了提高整体的识别率和识别速度，设计成三类的分类器来对车牌中的字符进行识别，分别为：汉字分类器、数字分类器、大写英文字母+数字分类器。根据车牌中字符的位置，选择相应的分类器，然后利用BP神经网络进行识别，最后得到整个车牌识别的最终结果。三类分类器如下图所示： 硕士学位论文4．5本章小节图4．7对应的三种分类器Fig．4—7Thethreecorrespondingclassifiers本章首先论述了车牌字符识别相对于其它种类字符识别的特殊性，详细介绍了车牌字符识别的结构方法和车牌字符识别的统计方法，并将两种方法进行优缺点分析和对比。本文针对于大写英文字母和阿拉伯数字的结构与汉字结构不同，采取了不同的特征提取方法。 5幕于BP神经网络结构的字符识别5基于BP神经网络结构的字符识别5．1神经网络理论神经网络【39】(NeuralNetwork)的研究历史比较久远，可追溯到19世纪末期，其发展历史可分为四个时期。分别为启蒙时期，低潮时期，复兴时期和高潮时期。人工神经网络可呈现出入脑的许多特征，并具有人脑的一些基本功能【401。而我们所要用到的BP(BackPropagation)网络就是在高潮时期被提出来的。1986年，Rumelh甜和McCelland领导的科学家小组在《平行分布式处理》一书中，对具有非线性连续变换函数的多层感知器的误差反向传播(ErrorBackPropagation)算法进行了详尽的分析，实现了Minsky关于多层网络的设想。BP网络能够在事前没有描述某种映射关系的数学方程的情况下，进行学习和存储大量的输入——输出模式映射关系，主要通过信号的正向传播和误差的反向传播两个过程完成【4¨。学习规则是采用最速下降法，通过误差的反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构如下图所示，主要包括输入层、隐藏层和输出层三个部分。期望辅出导师镛号图5．1BP网络结构拓扑图Fig-5-lthestnlcturaltopolagicaldiagramofBPnetworkBP神经网络学习过程分为信号的正向传播过程和误差的反向传播过程两部分，信号的正向传播过程是，首先从输入层传入输入的样本，然后在经57 坝士学位论文过隐藏层的计算处理后，最后传向输出层。检查实际的输出，如果输出层的实际输出与导师信号不符，则要转入到误差的反向传播阶段[91。误差的反向传播过程是将输出的误差以某种形式通过隐藏层向输入层逐层反传，并且将得到的误差分摊给各层的所有单元，得到了各层单元的误差信号，此误差信号将作为修正个单元权值的依据。所以整个学习过程中是以信号正向传播与误差的反向传播来不断调整各层权值的过程，是周而复始的进行的。此过程将一直进行到预先设定的学习次数或者得到的网络输出误差减小到可接受的程度为止。5．2BP神经网络的算法描述BP(BackPropagation)人工神经网络是一种按照误差逆向传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一【431。具体的算法描述如下：1、初始化神经网络的结构，对输入层到隐层的权值矩阵y=(K，K，⋯巧，⋯，圪)和隐层到输出层的权值矩阵形=(彤，％，⋯哌，⋯，形)赋随机数，并将样本模式计数器p和训练次数计数器g都设置成l，误差E置为O，学习率T1设成o～1内的小数，网络训练后达到的精度‰面设为一个正的小数。2、用当前期望输出样本X儿，和期望输出样本dp对向量数组x=(而，而，⋯‘，⋯，％)。和d=(西，吐，⋯畋，⋯，奶)。赋值，并计算出隐层输出向量y=(咒，坎，⋯y∥一，％)。和输出层输出向量D=(Dl，02，⋯o∥一，Dj)。其中Dt=厂(以Pt)七=1，2，⋯，zy，=厂(聆8于，)七=1，2，⋯，历3、设共有P对训练样本，网络对于不同的样本具有不同的误差EP=(5．1)可将全部样本输出误差的平方(￡P)2进行累加再开平方，作为总输出的误差，也可以用所有误差中的最大者k代表网络的总输出误差，在实际运用中多采用均根误差互M=作为网络的总误差。1、计算输出层误差信号6善=(畋一0七)吼(1一吼)计算隐层的误差信号(5．2) 5摹于BP神绎网络结构的字符识别(5．3)2、调整各层权值，计算形和矿中各个分量。I△∞业=T16；乃=1(巩一吼)吼(1一吼)乃{f，土、，、(5．4)l△u盯=”6以=”【∑6鲰M1一只)葺⋯“L＼七=I／3、这时检查是否对所有样本完成一次轮训，若p<尸，计数器p、g加1，返回步骤2，否则继续进行。检测网络总误差是否达到精度要求。例如，当用E胱作为网络的总误差时，如果满足条件乓砸<‰，则训练结束，否则￡置为O，p置l，返回第二步【“】。59，p，々7瓯乃聆一∽一厂，()y吼、ll／一‰缸枷，=，6，∑糊，∑㈦ 硕二}二学位论文图5—2标准BP神经网络流程图Fig．5·2StandardflowchartofBPneuI．alnetwork5．3BP神经网络存在的缺陷及改进BP算法由于其很多优点被广泛的应用，但标准的BP算法在实际应用 5幕于BP神经网络结构臼勺字符识男|】中也暴露出很多缺陷，归纳起来有以下几点：1．在训练过程中容易形成局部极小，从而没有达到全局最优；2．虽然对如何确定隐层节点的具体数量提出了很多方法，但目前还缺乏理论指导；3．由于BP网络需要大量样本进行训练，训练的次数多，使得学习效率低，收敛速度比较慢；4．当训练时学习了新样本后，有遗忘旧样本的趋势。根据以上几种BP神经网络存在的缺陷，国内外已经提出了很多改进的算法，其中应用比较多的有以下几种：l、增加动量项在标准的BP神经网络算法调整权值时，由于没有考虑t时刻以前的梯度方向，只按t时刻误差的梯度下降方向调整，从而在训练过程中经常发生震荡，导致BP网络的收敛速度非常慢。为了提高BP网络的训练速度，可以在权值调整公式中增加一个动量项。并以此为基础产生新的权值变化【451。带有附加动量项的权值调整向量表达式为：△∥(f)=n6x+伐△形(r一1)(5．5)其中形代表某层的权值矩阵，X代表某层的输入向量。增加动量项的基本思路就是在本次权值调整量中叠加一部分前一次权值调整量，仪的取值为伍∈(o，1)，伐被称作动量系数，当误差曲面出现比较大的起伏时，可以减小震荡的趋势，提高训练的速度。由于动量项很好的解决了减小震荡的趋势这个问题，所以目前为止几乎全部的BP算法中都加入了动量项。2、隐层结点数目的确定对应隐层节点数目的确定，目前还缺乏理论指导，也没有一个固定的规律可循，但由于隐层的主要功能是从输入向量中提取特征，因此确定隐层的节点数对整个BP网络的影响是非常大的。原则上隐层神经元数量越多，整个BP神经网络的识别能力就越强，识别也就越精确，但是训练时间也会相应的增多。同时隐层的节点数目存在一个临界值，如果选择的节点超过这个临界值的话，将会降低整个网络的抗噪能力，也会使整个神经网络的识别率大大下降。所以人们研究出很多方法来确定隐层节点的数目，主要有以下几种方法：1)．R．P．Linppm咖提出的隐层节点数公式为：log；，其中T为模式的训练数；2)．Kolmogorov定理指出：一个包含N个输入节点的单隐层BP神经网络，其隐层节点数位2N“：3)．隐层节点数还可以根据下列两个公式确定，其中强为隐层节点数，61 硕十学位论文加为输入层节点数，以为输出层节点数。，zI=√聊×(甩+1)+1(5．6)％：厄石忑而孬五丽再万而+o．51(5．7)对应不同的实际情况，隐层的节点数确定也会有所不同。在本文中，对隐层节点数的确定是参考上述隐层节点确定准则，经过反复试验，最后逐个测试，最终确定隐层节点数。3．自适应调节学习率学习率11也称为步长，标准的BP算法中定义为常数，学习率”决定了每一次循环训练中所产生的权重值的变化量，在实际应用中很难定义一个最佳的学习率，而使得收敛速度相对较慢。在正常情况下，在误差曲面中比较平坦的区域上11如果太小，训练的次数将会增加，因而我们希望在比较平坦的区域相应的增大11的值；但是在误差变化比较剧烈的区域上，11的值如果取得过大，将会使训练出现震荡，增加了迭代的次数。所以我们为了是收敛速度加快，应该自适应的改变学习率，使”的值该大的时候增大，该小的时．候减小，在整个训练过程中进行合理的调节。q的自适应设计过程如下所示：首先设定一个初始学习率，在经过一批次权值调整后，总误差增加了，那么就认定本次对T1的调整无效，同时令T1(f+1)=pTl(f)，(po)。设定的学习率的一个判定范围一般选择为0．01—0．8之间，因为学习率较小的话可以保证整个系统的稳定性，可以在局部区域中获得一个近似最优的学习速率，并且加快收敛的速度。4．引入陡度因子由于误差E是‰+1维空间中一个形状极为复杂的曲面，该曲面上每个点的“高度’’对应一个误差值，每个点的坐标向量对应着‰个权值。由于误差曲面上面存在着比较平坦的区域，当调整进入平坦区域后，此时应该设法压缩神经元的净输入，使其输出退出变换函数的饱和区，从而改变误差函数的形状，使调整脱离平坦区域，目前处理该问题的具体方法就是在原变换函数中引入一个陡度因子九1吼=石j而(5．8)当发现缸接近零而巩一啡仍然比较大的时候，此时就可以判断已经进62 入平坦区域，则令九>1；当退出平坦区域后，再令九=1。5．4神经网络的结构和设计本文为了更好更快的对车辆牌照上面的字符进行识别，采用了分级网络的方法对车牌字符进行识别，具体方法就是采用3个神经网络，分别用来识别汉字，大写英文字母和数字加大写英文字母。对应归一化后的排在第一位的汉字送到汉字识别神经网络中，排在第二位的大写英文字母送到英文字母识别神经网络中，第三位到第七位送到大写英文字母加数字神经网络中。这样可以有效的减少待识别字符的范围，提高神经网络对字符的识别率。璺酱型璺豳ijlJj叠_l皇圜塑蟹曰囡蟹菡圈萄圉圈圜固园国到冒雨崮圈圃翻国圈乱图5．3部分汉字、阿拉伯数字、大写英文字母样本集Fig．5-3P硪ofChinesecharacterS，N啪berSandEnglishlettersSampleCollection具体网络神经元数如表5．1所示：表5—1具体神经元数目Tab．5-1Specificnumber0fneurons 硕士学位论义图5．4BP网络训练误差曲线Fig．5—4BPnetworktrainingcurVeoferror本网络的学习和训练是采用BP算法的改进方式，加入了自适应调节学习率和动量法两种调整，输入层、隐层和输出层均采用“logsig，’函数，目标误差为0．00000叭，最大训练次数为1000次。由于Sigmoid函数具有单调性、非线性、无限次可微性、当权值很大时可近似闭值函数，而且当权值很小时可近似线性函数等有益的特性，所以输入、输出和因此都选择Sigmoid函数。园引§_r凸4’受!型l型塑型雹Fj弘鹏否；三型l鬯塑堕型}只1∈Edh锇evin5erToo}!Des畦。臻舛ndorH毫l【’{o骞润裔岛筏鼍、勘彳-”|b暑_=_冀_墨z=__焉一z?_?一=i?，，?'_=葛-=篡?：一一?一?z一≯=wz_一’?·—?一{l蓦．；蔓蔓。0。i等量≯嚣一|耋奠__|!。叠篓董j萎量≥i。≯_。。一i。?_。。l隧攀。奠i；董誊i蓦鬻j黑翟姻媳眵萋≥j叠jji誓w。i‘j{融|}i一。。?‘?。～■≯_’。：=⋯一一≥·掰一■‘oi=二赫蔓窿?誊雾。|鏊霪蕊墨羹蜜髓攀≥鬻譬誊i≥j≯。。：。蔓≯囊1I|}{叠j蒜慧量_，_≥鼍j≯：；：』■|¨，I{||。一{拦错?，毫曩_1；=_ijj≯¨_iji董j警。j?j“ 5基于BP神经网络结构的字符识别FileEditV}e确Inse—T。olsDesI(七of、V}id。vHejp’≥彦溢国岛。气j≮黝9彳t”二兰兰兰二o『|{{|j』j?j”：『黑痈巍圃匪囊墓豳?i11|。j|ji：!ij；|1I||⋯≯?liij囊；交蒸慕磊赫1|．=j；l¨III一¨；_7；。ii：；ili㈠一jIi|{5．5试验结果图5．5车牌识别结果图车牌识别系统主要由以下三个模块构成：车牌定位，主要包括图像的灰度化处理，灰度拉伸，图像形态学处理，车牌提取：车牌分割，主要包括车牌二值化处理，背景色的统一，车牌的倾斜校正，边框的去除，字符分割，尺度归一和紧缩重排：车牌识别，主要包括分析提取字符特征，进行字符识别，最终得到车牌号码。根掘文章中提出的字符特征提取和神经网络构造的方法，用Matlab对1oo幅车牌图像中的汉字、大写英文字母和阿拉伯数字识别进行仿真试验，识别结果如表5．2所示。表5．2仿真实验结果T曲．5—2thesimulatiOnresuIts根据仿真实验结果分析，车牌定位中失败的主要原因是车牌倾斜角度太大，不能正确定位出其位置；字符分割中失败的主要原因是进行二值化时，没有选出最佳阈值，造成了较大的噪声干扰，影响了分割；识别错误的主要原因是由于部分车牌模糊不轻，信噪比低，导致字符粘连断裂，引起错误识65 硕十学位论文别。：15．6本章小节本章首先对神经网络理论进行介绍，对标准BP神经网络的算法进行了详细的描述，讨论了标准BP神经网络存在的缺陷并对其进行改进。本文对针对BP神经网络收敛速度慢，并且容易陷入局部最小点而达不到全局最小点的这个缺陷，引入了自适应学习速率和动量因子两种方法对BP神经网络进行了改进，从而使网络收敛到了更优点，并且减小震荡的趋势，加快了收敛速度。最后仿真实验了改进后的BP神经网络对车牌字符进行识别，在根据本文提出的提取车牌字符的特征，送入训练好了的BP神经网络进行识别。实验结果表明，字符的识别率比较高，可以达到85％以上。 结论总结和展望本文主要针对车牌识别技术进行了深入分析、研究，在总结和借鉴原有车牌识别技术的基础上，系统的阐述了车牌识别技术的具体过程，并且用Matlab软件进行模拟仿真。本文分别对车牌图像定位、图像分割和字符识别等方面进行了系统的研究，总结起来，完成了以下几项工作：1．在车牌定位部分本文中试验了4种常用的微分算子对车牌图像进行边缘检测，经过分析对比后，最后确定了采用sobel算子，然后对边缘检测后的车牌图像进行形态学处理，最后根据车辆牌照每一行、每一列的黑色像素总数来提取具体车牌位置。提出了针对于一小部分难以提取出车牌图像的样本，论述了基于颜色的车牌提取技术。2．在车牌分割部分，首先进行了二值化处理，对于黄底黑字等字符颜色的亮度低于背景颜色的亮度的图像，我们对其进行车牌背景色的统一，全部变换为黑底白字，然后对于少量倾斜的车牌进行倾斜校正，并且去除车牌图像的边框，最终将车牌字符图像分割提取出来，进行字符大小归一和位置归一o3．车牌的识别部分中，在神经网络部分本文对BP神经网络算法进行详细的描述，对标准BP网络进行改进，加入了动量法和自适应调节学习率两种调整，针对于大写英文字母和阿拉伯数字的结构与汉字相比相对简单，所以采取了不同的提取方法。在大写字母和数字识别部分提出了新的特征提取方法，并且分别采用三组改进的BP神经网络分别对汉字、大写字母、大写字母加数字进行识别。最终对整个过程用Matlab软件进行模拟仿真实验，取得了比较好的效果。本文的主要创新点在于提取汉字特征时，首先实验模拟仿真了13点特征法，发现用该方法提取的特征进行训练BP神经网络，识别的效果不是很理想。本文基于13点特征法，针对于车牌汉字的特殊情况，对其进行了改进，增加了提取的特征点，改进后的方法总共提取了53个特征值，经过模拟仿真之后，与13点特征法进行对比，识别的效果明显好于13点特征法。本文虽然在车牌图像识别方面做了一些研究，并做了大量的工作，但由于时间和个人能力的的限制，还存在很多不足，都有待于进一步的改善和提高，主要表现在以下几个方面：67 矽!十学位论文1．由于实验样本有限，本文只针对黑龙江和浙江两个省的车牌进行实验，没有对其他省牌照进行实验，今后这方面工作还应该继续。2．本实验只针对白天光照较好，背景图像较简单的条件下应用，对于图像光照不足，或者车牌被部分遮挡的情况下，本文未做过多探讨。3．／J、波变换，遗传算法等发展日新月异，都是目前研究的热点，由于时间所限，并未对这些方面进行研究。总之，本文的车牌识别系统仍需要不断的修改和完善，随着今后人们对车牌系统的深入研究，提出高效的方法，车牌识别系统必定会更加成熟。 参考文献【l】张洪刚、陈光、郭军。图像处理与模式识别[M]。北京：北京邮电大学出版社，2006，151-155。[2】贾婧．视频流中的车辆信息提取算法研究【D]．上海：同济大学，2006。【3】王雪茹．车牌自动识别技术的研究与实现[D】．哈尔滨：哈尔滨理工大学，2009。[4】韦鸿健．车牌识别系统的研究与实现[D】．广州：中山大学，2009。[5】高勇．车牌识别系统中的字符分割与识别[D】．合肥：安徽大学，2007。【6】郭铁桥，郑海明．机动车牌照图像二值化提取的研究[J】计算机时代，2008，(12)：45-47。[7】章毓晋，图像工程[M】．北京：清华大学出版社，2007，90．96。[8】付希金．自然背景下车牌识别关键技术研究【D】．长春：东北师范大学，2008。[9】TCallron．PLambelrt．Coloredgedetectorusingjointlyhue，saturationandintensity【C】．in：ProcIEEEIntemationalConferenceonImageProcessing．AuStinTXUSA，1994：977-981。【lO】高成．Matlab图像处理与应用【M】．北京：国防工业出版社，2007，53．65。【11】冈萨雷斯。数字图像处理【M]电子工业出版社，2004，89．100。[12】常淑英．复杂特定环境下货车标记识别的研究【D]．天津：河北工业大学，2008．[13】J．Barroso，A．Rafael，eta1．Numberplatereadingusingcomptervision[Z】．InProc．IEEEIntemationalSymposi啪onIndustrialElectronics(1SIE)．PoIrtuugal，1999，http：肌Vww．utad．pt。’[14】郭大波．彩色汽车图像车牌定位技术分析．【J]山西大学学报，2005．28(1)：40．43[15】唐璐黄俊武哲．基于神经网络的协作优化方法在飞机总体设计中的应用【J】飞机设计，2009．29(2)．1．7。【16】NomuraS，Y细anakak，Kataio．AnoVeladaptiVemorphologicalapproachfordegradedcharacterimagesegmentation[J】．PattemRecognition．2005．38(1】)：1961一1975．。【17】何东健。数字图像处理【M】。谣安电子科技大学出版社，2005，90．111。[18】罗军辉、冯平、哈力旦·A等。Matlab7．0在图像处理中的应用[M】。机械工业出版社，2005，224—237。【19】蒋宗礼。人工神经网络导论【M】。高等教育出版社，200l，40．55。[20】王家文、李仰军。Matlab7．O．图形图像处理[M】。国防工业出版社，2006，257．258。【21】陈波、赖剑煌。用于图像分割的活动轮廓模型综述【J】。中国图形图像学报。2007．1：69 ll～2【】o：f[22】张继武、张道兵、史舒娟等。基于水平集方法的数字胸片图像分割【J]。中国图形图像学报。2004．12(12)：1459一1465。【23】PawlakZ．Rou曲Sets【J】．IntemationalJoumalofInfomationandCompmerScience，1982，1l(5)：34l～356。【24】SlowinskiR．Intelligentdecisionsupport—handbookofapplicationsandadVancesoftheroughsetstheor)，【M】．London：KluwerAcademicPublishers，1992。【25】Hu．Xiaohua，CerconeN．LearninginrelationaldatabaLses：arou曲set印proach【J】．ComputationalIntelligence，1995，11(2)：323～337。[26】史忠植。高级人工智能[M】。科学出版社，2006，79．87。【27】边肇祺、张学工等。模式识别【M】。清华大学出版社，2000，125—131。【28】王柯，朱启兵。一种基于差别矩阵的启发式属性约减算法[J]。2008，6：73～75。[29】杨治明、王晓蓉、陈应祖。基于BP人工神经网络图像分割技术[J]．计算机应用，2006．12：145～146。[30】何伟、蒋加伏、齐琦。基于租糙集理论和神经网络的图像分割方法[J】．计算机工程与应用，2009，45(1)：188～190。【31】N．otsu．AthresholdSelectionmethodfromgray—leVelhistogr锄[J]IEEETranssystemsM锄锄dCybemetic．1979，9(1)：62-66。【32】BemsenJ．Dynamicthresholdingofgray-leVelImages[A】．Procof8thIntelConf．onP棚．entRecognitjon[C]．LosAngeles：lEEEComputerSocietyPress．1986：1251—1255。【33】PaoloComelli，PaoloFem画n如MarioNottumoCr觚isri，eta1．OpticalrecognitionofmotorVehiclelicenseplates【J】．IEEET期msVbhiculartechnology199544(4)：790-799。【34】HsiehJW；YhSH，ChenYS．Morphology-basedlicenseplatedetectionfjromcomplexscenes【C】．ProceedingsofIEEEintemationalConf-erenceonPa：ttenlRecognition．2002．3：176—179。[35】TmDucDuan，Tr彻LeHongDu，Tr锄ⅥnhPhuoc，NguyenvietHoang．BuildinganAutomaticV曲icleLicensePlateRecognitionSystem【C】．IntelconfincomputerScience．Canto，Ⅵetn锄，2005(2)：59，63。【36】Seong。Whanlee，Dong．junelee，Hee-SeonPark．Anewmethodologyfbrgray·scalecharactersegmentationrecognition[J]．IEEETr绷slationonPattemAnalysis觚dMachineInteIligence，l996，18(1O)：59。[37】袁杰．计算机离线签名鉴定系统研究[D】．乌鲁木齐：新疆大学，2006。【38】张零钱晋武章亚男沈林勇．医用肠道内窥镜图像纹理分析的寻径方法研究fJ]．70 生物医学工程系杂志，2006，23(6)1332～1335。：，[39】Kanay锄e．K，Natiot．ApplicationofneuraInetworkwithcomputerVisionforaVehicleidentificationanddetectionsystem[C]．computer．Appl．cations，ControIandAutOmatiOn，Chichester：JOHNWILEY&SONPress，1997：475—488。【40]贾亮．基于神经网络和相似度分析的成本估算系统研究[D】．杭州：浙江大学，2010。【4l】ParisiR，eta1．CarPlateRecognitionbyNeuralNetwo|．ks柏dImageProcessing[J]．USA：InProc．IEEEISCAS．1998。【42】StefanKnerr，eta1．HandwrittenDig“RecognitionbyNeuralNetworkswithSingle-LayerTraining．IEEE：TransactiononNeuralNetworks[J】，1992，3(6)。【43】韩力群．人工神经网络教程[M】．北京：北京邮电大学出版社，200658，．68。【44】EunIqungLee，PyeoungKeeKing．AutomaticrecognitionofacarlicensepJateusingcolorimageprocessing[J]．JoumalofKoreaInstituteof’relenletriesandElectronics，1995，24(2)：128一131。71 作者简历、基本情况姓名：张剑性别：男民族：汉出生年月：1983—04—05籍贯：黑龙江省绥化市2004—09—2008一07黑龙江科技学院攻读学士学位2008一09—201l—06黑龙江科技学院攻读硕士学位二、学术论文1．张剑．车辆牌照识别中车牌定位的研究．[J]信息技术2．张剑．图像分割综述．[J]信息技术三、科研项目黑龙江省教育厅科学计划项目：基于小波分析的SST图像在轨压缩技术仿真研究 学位论文数据集关键词宰密级幸中图分类号}UDC论文资助车牌识别系统：车牌定位；车牌分割；字公开TP391．4符识别学位授予单位名称宰学位授予单位代码木学位类别木学位级别幸黑龙江科技学院10219工学硕士硕士学位论文题名事并列题名宰论文语种木STUDYONLlCENSEPLATERECOGNITl0N基于改进BP神经网络车牌识别的研究SYSTEMBAS色D0NlMPROVEDBP中文NEURALNETWORK作者姓名事张剑学号宰2008010809培养单位名称率培养单位代码木培养单位地址邮编黑龙江科技学院10219黑龙江省哈尔滨市150027学科专业幸研究方向事学制木学位授予年串计算机应用技术人工智能3年201l论文提交日期奉2011年4月1号导师姓名木王国权职称木教授评阅人答辩委员会主席宰答辩委员会成员杨孝宗电子版论文提交格式文本(√)图像()视频()音频()多媒体()其他()推聿掌格式：appKcation，msword：appHcation，pdf电子版论文出版(s发布)者电子版论文出版(发布)地权限声明论文总页数木74注：共33项，其中带木为必填数据，为22项。74