基于重力叠加模型与均值漂移的公路病害检测

《基于重力叠加模型与均值漂移的公路病害检测》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

硕士学位论文＿Ｉ肇９１基于重力叠加模型与均值漂移的公路病害检■：；！；测作者姓名赵峰＾：ｊｉｉｉｌ指导教师姓名、职称钟桦教授企业导师姓名、职称张怡高工—申请学位类别工程硕士 西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研宄工作及取得的研宄成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含一为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我同工作的同事对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。一学位论文若有不实之处。，本人承担切法律责任／－Ｌ＾：Ａ日期：＾本人签名１＾西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研宄生在校攻读学位期间论文工作的知识产权属于西安电子科技大学。学校有权保留送交论文的复印件，允许查阅、借阅论文；学校可以公布论文的全部或部分内容，允许采用影印、缩印或其它复制手段保存论文。同时本人保证，结合学位论文研究成果完成的论文、发明专利等成果，署名单位为西安电子科技大学．保密的学位论文在年解密后适用本授权书。＿本人签名：Ａｄ导师签名：，斗日期？０＾＾２－：＼＼日期：［ 学校代码10701学号1402121509分类号TP751.2密级公开西安电子科技大学硕士学位论文基于重力叠加模型与均值漂移的公路病害检测作者姓名：赵峰领域：电子与通信工程学位类别：工程硕士学校导师姓名、职称：钟桦教授企业导师姓名、职称：张怡高工学院：电子工程学院提交日期：2017年5月 RoadCrackDetectionBasedontheGravityModelAndMean-ShiftAthesissubmittedtoXIDIANUNIVERSITYinpartialfulfillmentoftherequirementsforthedegreeofMasterinElectronicsandCommunicationsEngineeringByZhaoFengSupervisor:ZhongHuaTitle:ProfessorSupervisor:ZhangYiTitle:SeniorEngineerMay2017 摘要摘要上世纪70年代末期，人们开始认识到了公路养护工作的重要性，国外一些学者便率先着手研发起了道路病害检测系统。从那时起，道路病害检测系统的研发工作就一直是学者们研究的热点。能否采用全自动化系统，对于道路上一系列病害做出准确的识别、分类和统计，则是人们关注的焦点所在。查阅了大量自动化道路病害检测系统文献资料后，本文在前人研究的基础上，主要针对公路面层病害视觉检测算法做改进和创新，目的是减少公路病害检测对于硬件设备上的依赖，尽可能地节约公路养护成本，使得病害检测系统的实用性得到提高。而且，改进后的系统是在道路图像数据采集的同时，做了实时地病害检测工作、检测效率提高了很多，避免了大量冗余数据的存储和传输。本文针对分辨率较低、目标与背景间区分度较差的道路病害图像，进行裂缝病害的精确分割。主要研究成果简述如下：（1）对道路图像预处理时，本文采用了一种适用于道路病害图像的分块光照补偿算法，补偿了道路图像数据中，受强光或阴影干扰产生的光照分布不均的区域，方便之后的检测。同时，本文结合了病害图像自身所具有的密集分布的大斑点噪声这一特点，提出了基于重力叠加模型的双边滤波算法。该算法不仅具有双边滤波可以同时平滑噪声和保持目标边缘的特点，而且在重力叠加模型中引入了一个向上的弹力分量，用来滤除掉大量较大的孤立斑点噪声，这是常用的双边滤波算法不能做到的。最终对于病害图像的测试中，效果满足病害图像预处理的要求。（2）在对病害目标区域快速定位、检测时，本文结合了裂缝目标的形态学特征，运用了基于大尺度方向模板的裂缝区域检测算法，对于线裂、碎裂的病害区域做了快速定位、虚景排除及裂缝拼接等操作，最终得到了病害裂缝区域的大致轮廓，经大量样本病害图像测试，搜索结果较好，虚景少、漏检率低，检测结果满足病害粗分割的需求。（3）在裂缝病害精确分割处理中，本文结合了超像素mean-shift算法的思路，采用了一种基于均值漂移的目标边缘收缩算法。对粗分割中提取得到的大范围轮廓，依据该时刻每个轮廓点上梯度方向和边界区域质心方向的线性叠加方向做偏移操作并多次迭代，直到检测结束。经大量粗分割的病害图像测试，最终分割得到的结果区域较为准确，满足最终的病害边缘精确提取的项目需求。关键词：目标识别，低对比度，滤波，模板匹配，超像素I ABSTRACTABSTRACTFromthelate70soflastcentury,roaddiseasedetectionsystemfirstlystartedresearchanddevelopmentabroad,ithasalwaysbeenahotIssueinacademicfield.Itisthefocusofattentionwhetheraseriesofdiseasesontheroadcanbeaccuratelyidentified,classifiedandcountedusingfullyautomatedsystem.Inrecentyears,alargenumberofdomesticandforeignscholarsengagedintheresearchanddevelopmentworkinthisfield.Relyingontherapiddevelopmentofscienceandtechnology,andcontinuouspracticeandinnovation,ithasachievedexcellentacademicresultsinimprovingdatacollection,storingandprocessingequipmentandimprovingtheautomateddataprocessingalgorithms.Butthemostimportantthinginthefieldisthereal-timeautomateddetectiontothedisastersuchasTheroadLinecrack,Fracture,broken,groove.Thetraditionalapproachismainlydependentonhardwaretechnologyinnovationtosolvetheproblemofdiseasesegmentation,suchasimproveddataacquisitionequipmentandlightingequipment.Aftersearchinglotsofliterature,thetraditionalideashavebeenchanged,throughthedataprocessingoftheroaddiseaseimages,thealgorithmwithbetterrobustnessisusedtodealwiththeroaddiseaseimageswithlowresolutionandfuzzycracks,andthediseasedareasintheimagesarepreciselydivided.Inthisthesis，weaimatdetectionandsegmentationofroadcrackusinglowcontrastimage.Themainresearchisbrieflyconcludedasfollows.(1)Illuminationcompensationalgorithmisstudied,whichcaneliminatetheinfluenceoflight,providingconveniencefortargetdetection.(2)Whenpreprocessingtheroadimage,thisthesisputforwardanalgorithmnamedimprovedbilateralfiltering,whichcanmakenoisesmoothaswhileaskeepingoutlineofthecrack.thisalgorithmcangetagoodresultinfilteringtheroadcrackimage.(3)Whenextractingthetarget,thisthesisuseanalgorithmtofindthescopeofthecracksquicklyusingtemplatematchingmethod.Afterthetestweknowthisalgorithmcanmeettherequirementsofdetection.III 西安电子科技大学硕士学位论文(4)Whensegmentingthecrackaccurately,thisthesisstudylotsofalgorithmaboutsuperpixelalgorithm,andthen,useanalgorithmnamedshrinkingcontoursalgorithmwiththeideaofMean-shift.Andthefinalresultcanfittherequirementsofdetection.Keywords:TargetRecognition,LowContrast,Filter,TemplateMatching,SuperPixelIV 西安电子科技大学硕士学位论文插图索引图2.1四种道路病害原图....................................................................................................9图2.2随机点阵图的低通滤波..........................................................................................11图2.3四种线性滤波结果图..............................................................................................13图2.4随机点阵与道路图像的中值滤波结果..................................................................13图2.5三种边缘检测算子3*3水平竖直模板....................................................................14图2.6公路图像三种一阶微分算子边缘检测结果图.......................................................15图2.7laplace算子三阶模板...............................................................................................15图2.8laplace和Canny边缘检测结果对比.........................................................................16图2.9目标的梯度方向和边缘方向..................................................................................16图2.10梯度方向的邻域范围............................................................................................17图2.11水平、垂直向直线检测模板................................................................................18图2.12直线和点在直角坐标系和在极坐标系中的图像................................................19图2.13Hough直线检测.....................................................................................................19图2.14LSD直线段检测...................................................................................................21图2.15碎裂图像细节........................................................................................................21图2.16基于图论的最小割与最优分割............................................................................22图2.17Watershed拓扑地形图...........................................................................................23图3.1线裂图及其三维曲面视图......................................................................................27图3.2阈值分割..................................................................................................................28图3.3小球压弹性平面模型..............................................................................................30图3.4光照补偿算法..........................................................................................................33图3.5光照补偿算法三维斜视图......................................................................................34图3.6对光照补偿图像的滤波结果..................................................................................36图4.1方向模板..................................................................................................................39图4.2模板尺寸..................................................................................................................40图4.3模板匹配情况展示..................................................................................................40图4.4八个方向模板卷积结果图......................................................................................41图4.5卷积叠加孤立块处理结果放大图..........................................................................42图4.6低对比度道路病害图像大模板卷积叠加处理结果..............................................43图4.7不同直线检测算法对于道路碎裂图像检测结果..................................................45图4.8加入去孤立区域算法优化结果..............................................................................46V 西安电子科技大学硕士学位论文图4.9断裂裂缝拼接拟合..................................................................................................47图5.1道路病害粗分割结果标记......................................................................................51图5.2收缩方向..................................................................................................................51图5.3偏移前后边缘对比..................................................................................................53图5.4几种线裂原图及其病害检测结果图......................................................................54图5.5几种碎裂原图及其病害检测结果图......................................................................56VI 表格索引表格索引表3.1光照补偿算法运行效率对照表..............................................................................35表3.2不同滤波算法结果比较..........................................................................................37表4.1加入去端点噪声前后的虚景数量评价..................................................................47表5.1线裂检测结果评价表..............................................................................................55表5.2碎裂原图及其结果图评价表..................................................................................56VII 符号对照表符号对照表符号符号名称s(n)一维连续和离散参考信号1F(u,v)傅里叶变换结果H(u,v)传递函数G(u,v)傅里叶变化结果k归一化系数h、x滤波前后灰度值大小c欧氏距离s像素间灰度值差异G、G/g、gx,y方向上方向模板xyxyM(x,y)梯度幅值2f、f求导/二次偏导数(x,y)梯度方向T、T高/低阈值HLk、b斜率/截距line-angle边缘方向Line边缘点集截断阈值d角度偏差阈值tG无向图V无向图顶点集合w(e)无向图e权重MST(C,E)最小生成树Int(C)集合C内部差异Dif(C1,C2)子集类间差异Cut(A,B)A,B最小割accoc(A,V)节点间权重总和NCut(A,B)NCut算法的割LABLab颜色空间S区域面积C编号为i的区域iIX 西安电子科技大学硕士学位论文dst(x,y)结果图像M、V区域i的均值/区域方差iiIm.rows/Im.cols图像Im的高/宽m小球质量方差Im(x,y)图像Im上x,y点的灰度值leni,j两点间的欧氏距离i,jModle_w灰度值、距离、权重对照表归一化系数Model编号为i的方向模板idst处理结果图iDomain图像i的连通区域集合ig对象i到对象j的梯度方向i,jContours轮廓上点的集合Contours.size()轮廓上点的数目C/Ci点横纵坐标i,xi,y过i点的两向量夹角iX 缩略语对照表缩略语对照表缩略语英文全称中文对照FFTFastFourierTransformation快速傅利叶变换IFFTINVFastFourierTransformation逆傅利叶变换LSDLineSegmentDetector直线检测分割算法SARSyntheticapertureradar合成孔径雷达SLICSimpleLinearIterativeCluster一种线性迭代的超像素算法XI 目录目录摘要.........................................................................................................................................IABSTRACT.........................................................................................................................III插图索引...............................................................................................................................V表格索引............................................................................................................................VII符号对照表..........................................................................................................................IX缩略语对照表......................................................................................................................XI第一章绪论..........................................................................................................................11.1路面病害研究的背景和意义.................................................................................11.2自动化路面病害识别的发展现状.........................................................................21.2.1国外自动化检测的研究进展及问题........................................................21.2.2国内自动化检测的研究进展及问题........................................................51.3论文的主要工作和安排.........................................................................................6第二章公路面层病害视觉检测流程及相关算法..............................................................92.1检测流程.................................................................................................................92.2图像滤波...............................................................................................................102.2.1频率域滤波：..........................................................................................102.2.2空间域滤波：..........................................................................................112.3线目标检测算法...................................................................................................142.3.1边缘检测算法：......................................................................................142.3.2直线检测算法..........................................................................................182.4超像素...................................................................................................................212.5本章小结...............................................................................................................25第三章基于重力叠加模型的双边滤波算法....................................................................273.1基于光照补偿的预处理.......................................................................................273.1.1Bernsen算法.............................................................................................283.1.2分块光照补偿算法..................................................................................293.2基于重力叠加模型的双边滤波算法...................................................................293.2.1重力叠加模型..........................................................................................303.2.2归一化处理..............................................................................................313.3算法实现...............................................................................................................313.3.1分块光照补偿算法..................................................................................31XIII 西安电子科技大学硕士学位论文3.3.2基于重力叠加模型的双边滤波算法......................................................323.4实验结果及分析...................................................................................................333.4.1光照补偿结果及分析..............................................................................333.4.2滤波结果及分析......................................................................................353.5本章小结...............................................................................................................37第四章基于大尺度方向模板的裂缝区域检测................................................................394.1大尺度方向模板匹配...........................................................................................394.1.1方向模板介绍..........................................................................................404.1.2模板匹配..................................................................................................414.2基于去噪及断裂拼接的后处理...........................................................................424.2.1噪声轮廓产生原因..................................................................................424.2.2连通区域断裂原因..................................................................................424.3算法实现...............................................................................................................434.4实验结果与分析...................................................................................................444.4.1大尺度方向模板匹配结果与分析..........................................................444.4.2后处理结果与分析..................................................................................464.5本章小结...............................................................................................................47第五章基于均值漂移的边缘收缩算法............................................................................495.1边缘收缩算法.......................................................................................................495.1.1问题分析..................................................................................................495.1.2算法思路..................................................................................................505.2算法实现...............................................................................................................515.3道路病害检测系统检测结果及评价...................................................................535.3.1线裂病害检测结果与评价......................................................................535.3.2碎裂病害检测结果预评价......................................................................555.4本章小结...............................................................................................................57第六章总结与展望............................................................................................................596.1本文工作总结.......................................................................................................596.2未来展望...............................................................................................................60参考文献..............................................................................................................................63致谢......................................................................................................................................67作者简介..............................................................................................................................69XIV 第一章绪论第一章绪论伴随着国民经济的快速发展，交通运输业在国民生活生产中占有着越来越重要的地位。货物运输是否便利、流通是否顺畅，直接或间接地会影响到国民经济的发展。而现阶段，公路交通以其相对较为低廉的运输成本，成为整个交通运输中极为重要的一环。中国有一句古话，“要想富，先修路”，公路的大规模兴建，为物资的运送，人民的出行，提供了极大的便捷。“十二五”期间，我国公路养护管理的各项工作取得了显著的成果。交通运输部部长杨传堂2016年6月16日在全国公路养护工作的会议上表示，截至2016年底，全国公路通车总里程达457万公里，实现了由“初步连通”向“覆盖成网”的重大跨越[1]。然而，公路交通并不是一本万利的，无论是公路网的大规模铺建，还是路面的长期维护，亦或是路面病害的排查修补，都会耗费大量财力物力，其中公路面层病害的检测则是公路养护工作中极为重要的一环。如何在检测如此庞大的公路网的病害中节约人力和资金成本，如何利用较为高效的计算机视觉、图像识别技术来代替低效的人工检测，已渐渐成为人们关注的焦点。本文主要针对线扫描图像数据采集设备采集到的大量公路面层图像样本，通过查阅相关资料文献，在大量现有的道路图像数据处理算法基础上，结合自身数据采集设备实际情况，提出了具有较强实用性的公路面层病害视觉检测算法，来实现道路病害的实时自动化检测。1.1路面病害研究的背景和意义目前，我国公路养护方面的工作仍以人工检测为主。因此，存储量大、效率低、费时长、野外作业安全难以保障等问题，成为制约我国公路养护发展的主要问题，与此同时，检测结果受到人为因素影响较大，这就使得之后对路面状况的整体评价很难做到客观和准确[2]。因此，人们开始把目光转向了计算机视觉领域，以计算机自动化检测来替代人工检测，以实现道路病害检测系统的高效性、客观性以及安全性。近年来传统的人工检测技术已逐渐被新型的计算机检测技术所取代。国内外许多学者已经在路面自动化检测技术上做了大量研究，开发出了许多较为实用的新技术、新算法。值得注意的是，国外一些专家在路面病害检测算法的研究中，已经有了30年以上的历史，期间自动化检测技术也有了重大的突破；然而我国的路面病害检测系统的研发是从上世纪80年代末期才开始的，主要还是依赖于一些国外设备、技术的引进[3]。最近的几年，我国的的自动化检测技术也有了长足的发展，而且成果颇丰，不少新开发出的道路病害检测系统，以其优良的道路图像数据采集性能、高效地病害1 西安电子科技大学硕士学位论文数据处理算法，受到国内外大量相关研究人员的关注。1.2自动化路面病害识别的发展现状1.2.1国外自动化检测的研究进展及问题从上世纪70年代初期，全世界第一个道路病害检测系统诞生到现在[3]，国外对道路病害自动化检测系统的更新迭代工作从未停歇过，前前后后大量具有突破性创新的道路病害检测系统以井喷趋势不断涌现出来，满足了人们在当时条件下的道路病害检测需求。总体来看，道路病害检测系统大致可以分为以下四个阶段：（1）上世纪60年代末期，日本的PASCO公司便把目光转向自动化的道路病害采集系统上来了，率先着手开发道路病害检测系统[4]，然而由于当时的道路图像数据采集设备条件有限、受科技大环境影响，硬件设备改进的空间较小，因而，最终效果在很长时间内都不理想，只是停留在了实验室阶段无法投入到实际的使用中来。到了70年代初期，法国LCPC道路管理部门后来赶上，首先研制出了第一台可以正式投入到实际中使用的路面病害检测系统，这便是GERPHO系统[5]。由于该系统抗干扰能力不足，所以选择外部设备碘灯来打光，车载道路图像采集系统夜间运行，由于数据图像精度关系上考虑，车载采集系统运行速度速较慢。同时该系统同步搭建了GPS定位系统，来对采集到的数据结果做定位标记。最终采集的图像数据结果存放在35mm胶片中，其中，胶卷中可以反映出的路面范围为6cm4600cm。待采集完毕后全部带入实验室，冲洗胶片，之后又后台技术人员对冲洗好的全部胶片做人工读取、识别处理，并将最终的处理结果输入到数据库中来，以便之后进行道路养护操作[6]。法国GERPHO系统的研制成功，标志着人类开始告别依靠最原始的纯人工的检测方式，极大的节省了人力资源的浪费，同时道路检测人员的室内检测的原因，使得检测人员安全得到极大的保障，工作环境得到了大大的改善。然而，在GERPHO系统实际投入使用后很长一段时间里，道路病害检测人员发现，该系统的一个致命缺陷便是数据采集处理效率极低，因为技术原因一直没有找到合适的道路图像数据采集设备即车载相机，导致了摄像机即使是在夜间加入特殊碘灯光源的条件下，无法保证在正常车速下实时拍摄得到清晰的道路图像数据，因而为了配合数据采集系统，导致整个车载系统夜间运行，而且运行速度极慢，所以如果不封路做病害采集，经常会发生高速公路夜间追尾的情况，这对于道路检测公司的损失非常大，经常入不敷出。而且由于条件有限，采集到的图像数据都是以胶片的形式保存了下来，然后统一带入到实验室去做冲洗，由于道路众多、公路网密集，带入到实验室中的胶片大量无序堆积，这样，检查之前就需要费很大功夫对它们分类存放，更有甚者，部分实验室存在没有足够空间存放的情况。而完成分类之后，任是需要工作人2 第一章绪论员去人工识别、分类、统计病害及其特征。最后整个区域的道路病害检测下来，不但效率没有直接的提升，甚至投入的工作人员和财力甚至是之前单纯人工检测的数倍之多。那时，工作人员便意识到，如果不在技术创新上做突破，那么自动化道路病害系统检测这一研究成果更大规模普及的想法根本无法实现。（2）在第一代检测设备的基础上第二代检测设备也开始孕育而生了。第二代自动化路面缺陷检测设备相较于第一代，在硬件和功能上有所改善。日本的KOMATUSU道路检测系统便是第二代检测设备中的一大代表。该系统是从上世纪80年代末开始着手研究的，整个系统由一台道路信息采集车与离线数据处理系统组成。系统运行时首先由数据采集车进行数据采集操作，之后数据的处理上，则通过多处理器并行计算来得到最终结果，完成数据处理工作[7]。处理方式分为以下三个过程：1）首先大规模使用64MC68020处理器来分割图像，使原图分割为若干3232像素的子图。2）之后每一块子图都通过投影曲线办法来确定曲线，之后再旋转找到每条曲线方向角。3）把每个小图的处理结果送入到处理器中，完成拼接。其中系统采集速度为10km/h,图像分辨率为20482048像素[8]。对二代检测设备和第一代对比起来，在后台数据处理上有了一个质的飞跃。直观上来讲，第一代采集得到的结果，保存在胶片中，冲洗出来后由大量工作人员人眼做检测识别与匹配，效率极低、人力消耗、胶片需求量极大。而第二代系统的数据则是开始由计算机来存储，结果数据在后台通过若干的处理器来进行自动化处理，效率大大得到了提高，这是第一代系统所不能比拟的。然而，这一时期，科技的飞速发展仍然不足以满足道路图像数据采集设备硬件上的需求，10km/h的图像数据采集速度，注定了第二代道路病害检测系统仍然无法做到大规模普及的命运。为了配合当时的采集数据低效的相机，系统的车载设备不得不降低运行速度，而且毫无意外的，该系统只能夜间运行，因此，做数据采集时候，系统整体的安全无法保障，事故频发，仅仅几个月的时间，就由于交通事故原因，损失了大量的设备和卓越的科研工作者。数据采集设备硬件技术上的开发创新，也就成为了当时道路病害检测系统最为关键的问题所在。（3）随着CCD摄像技术的飞速发展，数据采集设备质量和效率上的改进与创新，第三代路面检测系统又有了一次质的飞跃。澳大利亚道路运输研究所研发的Hawkeye2000检测系统便是第三代路面检测系统的一大代表。该系统是大量学者在线扫描图像提取技术产生重大突破的前提下孕育而生的。相似的，Hawkeye2000检测系统也包含着图像数据采集系统、GPS实时定位系统、图像数据实时压缩存储系统以及数据处理系统等多个分支系统。与之前低速采集不同、该系统可在110km/h的车3 西安电子科技大学硕士学位论文速下采集图像数据，并将其压缩，存入计算机中。该系统分辨率可达2.5mm,图片为1280960像素，道路最大检测宽度3.2m,其GPS定位系统可实现1m范围内的定位精度。拍摄到的路面数据传入计算机中进行处理，最终可以导出路面平整度、车辙破损等数据[9]。扫描精度和检测效率得到了大幅提升。与前两代相比较，第三代系统最大的突破点则是在CCD摄像技术的运用以及图像数据的实时压缩存储技术。线扫描的引入极大地提高了采集到的道路图像的精度，这对于病害的识别提供了极大的便利；实时压缩存储技术的引入，可以使新的道路图像数据采集车载系统运行速度更快，而不是像之前两代一样，系统运行受制于较慢的数据采集、存储速度，最终的数据采集效率得到了大大的提高，采集过程的安全性也得到了保障。硬件上的突破，图像数据采集效率的提高，满足了整个道路病害车载系统能够在公路网上以正常的速度行驶的条件，采集系统达到了极限的数据采集效率。然而，在病害图像数据处理的技术上，依然迟迟无法得到改善，从上文对第三代具有代表性的系统Hawkeye2000检测系统的介绍上，我们可以看到，该系统仍延续着前两代系统的自动化数据采集存储压缩，后台解压之后再做道路数据处理的特点。然而我们知道，在科技飞速发展的同时，经济的发展也不可能止步不前。伴随着汽车工业的大规模兴起，道路交通网络的密集度也一直呈几何增长的事态去增加。因而在当时，一个地区内所有道路数据采集设备采集到的压缩处理后的图像数据量庞大程度可想而知。暂且不去想是否有足够大的硬盘空间去存放、有足够高效的算法去分类这些数据，单从数据处理效率上来说，以当时的处理器条件、处理具有如此庞大的数据量的道路图像数据，无疑是一个旷日持久的工程。因而，能否在道路图像数据采集的同时，做到病害数据的实时分类、统计、定位，渐渐地成为了工作人员又一大关注点所在。（4）近年来，随着线扫描技术的飞速发展，以及图像识别技术方面的巨大突破，第四代路面检测系统也渐渐地孕育而生。其中最具代表性的便是美国ICC公司研制开发的多功能路面检测系统。该路面破损检测系统由两个CCD线扫描相机和两个红外激光器组成，线扫描频率为40MHz，其中相机分辨率为1mm，每张图片可反映路面3m×6m大小的区域。两组相机相距2m，由红外激光器负责照明[10]。扫描后将图片压缩保存到计算机中，以便之后图像数据处理。图像采集、高性能处理器等这些硬件设备在最近几年的更新迭代速度是有目共睹的，其中也不乏有着大量性价比极高的设备，可以用来装载在实时道路病害检测车载系统上来，进一步改善道路数据采集系统的条件。与硬件设备的飞速更新迭代不匹配的是道路病害检测系统软件上的创新一直无法实现跨时代的突破，长久以来，虽然大量的更为优化、更为高效的道路病害检测系统不断地在被开发，但是实时地图像数据4 第一章绪论处理系统算法上的优化仍然是该领域内的一大瓶颈，很少有系统做到了稳定的实时道路病害检测，大量新的道路病害实时检测算法，由于鲁棒性较差，外部条件要求苛刻，对环境和参数敏感等原因，最终无法实际地投入到使用中来。综上，随着这几代路面信息采集技术的发展，图像采集技术逐渐趋于成熟，但仍然存在一些共同的问题[11]，难以解决：1）上面提到的四个阶段所有的检测系统，均为现场采集路面信息，保存之后离线处理。因此在保证图像精度的前提下，所需内存极大，而且后期处理量、路段匹配量巨大，大大降低了检测效率。2）现阶段检测效果较好的系统，因为要排除自然光照干扰，均需要在夜间运行，且均不同程度地需要配备特定的照明、扫描、压缩存储设备。造价高，成本大，不符合现阶段中国国情，在我国，难以大规模投入到实际应用中。识别分类算法重复且繁琐，创新上不足，算法效率较低，直接导致了不能做到病害的实时识别分类。1.2.2国内自动化检测的研究进展及问题国内自主研发的的自动化道路病害检测系统，和国外比起来要晚了很多。国内最早完成研发的符合标准的道路病害检测系统是在2002年的年底，由南京理工大学唐振明等着手开发出来的[12]。它是一种较为智能化的车载检测系统，命名为JG-1型路面智能检测车。该车载检测系统全面通过了我国交通部规定标准的测试，是第一个能够全面的满足标准规定要求的智能病害检测系统。与国外道路病害检测系统类似的，JG-1型路面智能检测系统也是由数据采集、数据存储、数据后台处理等多个系统协作而成的。另外的，该系统也创新地引入了激光传感器系统，用激光测距原理配合算法上的创新，来检测路面的起伏状况。这一点是其他路面病害检测系统上所不具备的，也是该系统的一个亮点所在，体现出了该系统对于路面各种病害检测上较为强大的一面。然而该方法仍然是沿用了过去的思路，首先实时采集道路图像的数据，之后对于采集得到的数据做压缩存储，最后，后台利用特有的数据处理算法去做分析，检测、分类、统计所有的道路病害。然而由于条件因素影响，该检测系统还存在着采集图片数据速度慢，存在数据遗漏；道路图像病害检测算法的识别精度不高，算法分类不全等缺点，亟待改进[13]。JG-1型路面智能检测系统获得巨大成功的同时，同年11月份，N-1新型路面病害智能检测系统通过审核，这是我国路面病害检测上又一大标志性突破。该系统是由江苏宁沪高速公路股份有限公司、南京理工大学和南京路达基工程新技术研究所共同研制开发的[14]。与之前提到的JG-1型路面智能检测系统不同的是，N-1新型路面病5 西安电子科技大学硕士学位论文害智能检测系统在图像数据采集效率上做了很大的改进，车载数据采集设备可以实现在70km/h的行驶速度下，做到图像数据实时扫描、采集和压缩存储，而且采集的数据精度较高，同样的，也用到了激光测距技术的改进技术，实时检测路面的起伏情况，实时返回路面平整度报告。从描述中可以很明显地看到，同JG-1性系统不同的是，JG-1型新型智能检测系统的数据采集系统上使用了更为先进的技术设备，道路图像数据采集更加效率、采集到的图像精度更高，图像数据压缩存储速度更快，因而，该车载系统可以实现高速公路常速行驶的同时进行道路数据，而避免了由于数据采集效率低而导致的封路或者交通事故的隐患。而且激光测距技术创新性地引入，使得该系统可以检测到路面的起伏状况，而之前的仅仅依靠摄像采集得到的数据，并不能检测到这类信息。然而该系统对于图像数据的处理，仍然是离线进行的，整体检测效率仍然有待改进。随着科技的快速发展，不同条件下不同种类的图像采集技术日趋成熟、采集硬件也不断更新迭代。然而，在此之前大家的目光主要都集中在了对硬件拍摄设备的完善和打光设备的配合上了，殊不知在我国公路网如此密集的国情下，一味地对硬件设备提要求，需要大量的资金投入，可行性较差。因此如何在相对成本较低的硬件条件下，改善识别算法、做到实时检测病害，降低数据存储量，已成为当下的热点[15]。本文就如何在较低分辨率的道路图像上做到实时地检测路面病害这一问题展开研究。1.3论文的主要工作和安排本论文利用了大量不同环境下采集得到的较低分辨率的路面病害样例图片，对于图片上裂缝病害的检测做了研究，主要包括如下内容：第一章本文着重介绍了所选研究方向的研究的背景和意义，对路面病害识别的发展现状进行简要陈述，也引出本文所要进行研究的课题，同时，本节也给出全文的工作安排。第二章主要介绍了公路面层病害检测系统的检测流程，以及图像处理中，在图像滤波、直线区域检测以及目标分割提取中一些常用到的算法的基本原理，简要地进行了一些常规算法的测试，并且就其原理与实验结果，分别阐述了每一种算法的具体适用条件。第三章详细介绍适用于道路病害图片的分块光照补偿算法以及基于重力叠加模型的双边滤波算法，对采集到的道路病害图像进行预处理操作。第四章主要介绍了基于大尺度方向模板的裂缝区域检测算法，对于裂缝目标进行定位以及粗分割。第五章着重介绍了适用于粗检测之后公路病害图像的基于均值漂移的边缘收缩6 第一章绪论算法，对裂缝目标精确分割。第六章对本文所研究的工作做汇总，并对本文所研究的道路病害图像裂缝检测、分类的研究和发展提出一定展望。7 西安电子科技大学硕士学位论文8 第二章公路面层病害视觉检测流程及相关算法第二章公路面层病害视觉检测流程及相关算法要想最终做到对目标病害区域的精确分割，就必须了解我们要识别的路面病害的种类及不同种类各自的特征，这样才能有针对性的根据不同种类的病害，设计出不同的分类算法，并以此来定位、分割出病害区域以及辨别出每一种病害的类型。本系统目前主要识别的病害类型有如下几种：(a)碎裂(b)线裂(c)修补损坏(d)凹陷图2.1四种道路病害原图上面四种病害，除了凹陷需要红外设备来检测路面起伏外，其余三种均可用图像处理方法做到实时检测。其中修补损坏图像，其特征是路面背景区域方差较大，邻域像素平均灰度值较高，而修补后的区域较为平滑，整体灰度值较低且方差小，特征十分明显。特别地，这种类型的目标，只需要统计数量即可并不需要精确检测分割，所以该类型图像较为容易检测，本论文不作为主要论述方向。2.1检测流程由图2.1(a)(b)的碎裂、线裂样例图片中我们可以看到，对于线裂目标和碎裂目标，在清晰度较差的图像上裂缝与背景路面区域的区分度非常低，想要直接根据一些简单的灰度值特征来进行检测较为困难。同时，由于实际中路面并不平滑，所以不可避免的，采集得到的公路图像区域内部方差特别大，存在有大量的大斑点噪声。再加上实际图像数据采集中无法保证光照稳定，不同时刻采集到的图像中，裂缝与裂缝、路面9 西安电子科技大学硕士学位论文与路面间的差异也很大，给检测工作带来了极大的干扰。因此，在公路面层病害视觉检测系统中我们首先要对采集到的图像数据进行预处理，包括光照补偿以及图像滤波操作；其次在预处理的基础上要对裂缝目标进行粗分割，划分出裂缝的大致区域；最后对于粗分割得到的裂缝轮廓，进行轮廓收缩处理，得到裂缝最优的精确分割的轮廓，进行病害数据采集与统计。2.2图像滤波图像滤波是图像处理中非常重要的一步，其主要目的是为了去掉噪声干扰，突出之后要识别的目标或目标的某些特征，方便之后的目标识别和跟踪操作[16]，因此图像滤波结果的好坏，直接地会影响到之后图像处理目标识别、跟踪的最终结果。常见的滤波算法主要可以分为频率域滤波和空间域滤波这两类。2.2.1频率域滤波直观上来讲，频率域滤波主要思想是将图像从空间域转换到频率域（FFT）[17]，一般的，滤波后需要提取的目标属于低频段，而背景区域则相对得属于高频段，因此，对于傅里叶变换后的频率域图像输入一个截止频率（经测试，本文道路缺陷图片的截止频率一般在90-150间为最佳），通过低通滤波器后的结果，再经逆变换，由频率域转换到空间域(IFFT)即可。低通滤波器的数学表达式如公式（2-1）所示：G(u,v)F(u,v)H(u,v)(2-1)其中F(u,v)为原图像的傅里叶变换结果，H(u,v)为传递函数，即我们上面提到的低通滤波器，G(u,v)为经低通滤波后输出图像的傅里叶变换结果。传递函数H(u,v)的作用便是通过全部的低频部分，滤除掉高频部分，滤波之后，图像变得更加平滑，这样很大程度上方便了之后的目标分割操作。常见的传递函数有梯形函数、指数函数、巴特沃斯函数等[18]。下图2.2为一张模拟的随机点阵图及其低通滤波结果：10 第二章公路面层病害视觉检测流程及相关算法(a)模拟的随机点阵图(b)点阵图频域图像(c)只用点阵相位重建的图(d)点阵图低通滤波结果图2.2随机点阵图的低通滤波由结果可见，模拟的点阵图经过FFT、低通滤波、IFFT操作后，图像变得较之前更为平滑，点阵的密集区域和离散区域一定程度上对比度得到了提高。2.2.2空间域滤波与频率域滤波相比，空间域滤波显然更加接近人类的直观感受，因而更好理解。顾名思义，空间域滤波即是在图像上，每个像素点或者每个像素区域通过与其周围连通区域的比较，根据不同的目的对该像素值做出不同的处理最终得到理想结果的过程。空间域滤波主要可分为线性和非线性滤波两类：（1）线性滤波：线性滤波是指结果图像的每一个像素值由原始图像像素间做算术运算得到，一般的，用到最多的是加权平均操作。常见的线性滤波器有：a.均值滤波：均值滤波是最简单的线性滤波之一，它指的是，对原图上每一个像素点，对以其为中点的(2n1)×(2n1)大小的滑动窗口内的所有像素，求出它们的均值，并将结果赋给结果图像坐标与该像素对应的像素点，也可以看做是式（2-2）所示的矩阵H对该图素矩阵做卷积的结果[19]。111111111H11112n1*2n1111111(2-2)b.高斯滤波：高斯滤波原理和均值滤波类似，也是一个(2n1)×(2n1)大小的11 西安电子科技大学硕士学位论文卷积核对原图像做卷积操作，只是高斯滤波根据邻域像素距离中心像素点的远近，来赋予不同的权值，而不像均值滤波那样，窗口内所有像素权重都相同，考虑到了像素点之间的空间相似性[20]。c.双边滤波：双边是指该算法同时考虑了两个因素。顾名思义，双边滤波即是指该滤波器是由两个因素共同决定核函数的，一个因素便同上面提到的高斯滤波相似，由距离中心点远近决定，即空间相似性，另一个因素则是由该点和中心点像素差大小决定的，即灰度值相似性[21]。因此我们说，双边滤波不仅考虑到了每一个中心点其与邻域范围内所有点的灰度值的差异性，而且同时考虑了与邻域内所有点之间的几何距离的远近。分析双边滤波算法思想，我们可以得到滤波后任意一点的灰度值表达式如公式（2-3）所示：hxk1fξcξxsfξfxdξ（2-3）x其中k为归一化系数，其表达式如公式（2-4）所示：k(x)c(x)s(f()f(x))d（2-4）h、x分别为滤波前后对应点的灰度值的大小；c为当前目标点与中心点之间的欧式距离，即我们所说的空间上的相似度；s则表示当前目标点与中心点在灰度值上的差异，即所说的灰度值上的相似度。其中函数c和s均可用高斯函数来建模实现，其定义式如公式（2-5）和（2-6）所示：1x2()c(x)e2（2-5）1f()f(x)2()s(f()f(x))e2（2-6）这三种线性滤波器对模拟的点阵图的滤波效果如图2.3所示：(a)模拟的随机点阵图（4096×2048）(b)均值滤波结果(w=15)12 第二章公路面层病害视觉检测流程及相关算法(c)高斯滤波结果(w=15)(d)双边滤波结果(w=15,=3,=0.5)12图2.3四种线性滤波结果图从图2.3上来看，这三种线性滤波器滤波结果直观上的差异并不算明显，整体来看，均值滤波和高斯滤波的结果更为平滑，点集密集区域与稀疏区域边缘处对比度被淡化了很多，边界没有得到很好地保留，而双边滤波结果的边缘部分则得到了很好地保留。（2）非线性滤波：与线性滤波相对得即是非线性滤波，它指的是滤波后的结果图像中的每一个点的灰度值，都是由原始图像中，在该点一定邻域范围内的像素点做逻辑运算的到的[24]。(a)模拟的随机点阵图(b)中值滤波结果(c)较低清晰度道路病害原图(d)中值滤波结果图2.4随机点阵与道路图像的中值滤波结果常见的逻辑运算包括找极大极小值、中值、众数等，与此对应的常见的非线性滤波器有：a.极大值滤波:极大值滤波是选取像素邻域内最大值作为该点的像素值。很容易理解，这种滤波可以有效地去除图像中低像素值的噪声，最终效果和图像的膨胀操作类似，也因此可以将其作为形态学里的膨胀操作。13 西安电子科技大学硕士学位论文b.极小值滤波：与极大值滤波相对的，极小值滤波可以用来去除图像中较高像素值的噪声，也可以作为形态学中的腐蚀操作。c.中值滤波：和上面两种非线性滤波作比较，中值滤波也很容易理解，它是指结果图像中的每一点的像素值，都是该点在对应的原始图像邻域内灰度值的中值。所以这种滤波在消除椒盐噪声时，性能会明显优于线性滤波[25]。但是同样的这种滤波在处理目标边缘较为复杂的图像时，效果很差，因而也并不适用于道路病害图像的处理。我们以更为常用的中值滤波器作为示例来对一个随机点阵图做滤波处理，结果如上图2.4所示，由结果图可见，中值滤波可以去除连通域的毛刺边缘，最终达到图像锐化的目的，因而该算法在实际中使用较为广泛。2.3线目标检测算法由图2.1中的(a)和(b)可知，碎裂和线裂两种病害的一个共同特征是，要检测的裂缝目标可以近似的看做若干小段的直线段拼接而来的，由此在病害目标快速定位时，用线目标检测算法无疑是较为合适的。对于直线目标的检测，可以依据待检测目标的宽度，分为目标的直线边缘检测和直线目标检测这两类。2.3.1边缘检测算法：常见的边缘检测算法基本都是首先根据待处理图像，确定一个较为合适的算子，即卷积核，并用它来对图像做卷积得到边缘检测结果。（1）一阶微分算子：常用的一阶微分算子有Roberts算子、Sobel算子、Prewitt算子等，图2.5中举例列出了这三种算子的3×3大小水平竖直方向的模板。12111111G000GG000xx-1-1x1-2-1-1-1-110110111G202GG101yy11y101101(a)Sobel算子(b)Roberts算子(c)Prewitt算子图2.5三种边缘检测算子3×3水平竖直模板分别利用图2.5中三种算子的水平垂直方向算子对一幅公路图像做卷积叠加，得到这三种算子的边缘检测结果[26]，如图2.6所示。对分别用它们对病害图像做边缘检测操作，结果如图2.6所示：14 第二章公路面层病害视觉检测流程及相关算法(a)原图(b)Sobel算子边缘检测结果(c)Roberts算子边缘检测结果(d)Prewitt算子边缘检测结果图2.6公路图像三种一阶微分算子边缘检测结果图从结果来看，三种算子均检测到了该公路图像中的直线区域，而且检测结果较好，适用性较广，但是三种算子中Sobel算子使用最为广泛。（2）二阶微分算子：Laplace算子是一种各向同性的二阶微分算子，该算法只考虑了边缘的位置信息，并没有利用邻域内灰度值差异的特征[27]。该算子对于孤立点的响应要比它对线或者对边缘的响应更加强烈，因此在使用Laplace算子做边缘检测之前，通常要进行低通滤波。也正由于这样，一般的Laplace模板通常是由平滑算子和Laplace算子结合而成的。Laplace算子的离散形式表达式为：222fff（2-7）22xy该算子可转换成3×3大小模板如图2.7所示。010111141181010111图2.7laplace算子三阶模板图2.7(a)经拉普拉斯边缘检测后结果如图2.8(a)所示：15 西安电子科技大学硕士学位论文(a)laplace边缘检测(b)Canny边缘检测图2.8laplace和Canny边缘检测结果对比（3）Canny边缘检测：Canny算子是一个同时具备滤波、增强、检测的更为优化的算子[29]，一般的从功能上来说，Canny算子要比上面几种边缘检测算子更优秀一些，但是实现起来较为复杂，其算法实现如下：步骤一：使用高斯滤波器平滑图像：高斯滤波在2.1小节我们有详细讲过，这里不再赘述。步骤二：分别计算出梯度幅值图像和角度图像：例如图2.7所示的图像的边缘，我们分别用3×3大小x和y方向的Prewitt卷积模板，如图2.5(c)所示，对其进行计算。图2.9目标的梯度方向和边缘方向根据x和y方向的Prewitt卷积模板，可分别得到水平竖直方向的梯度：gf/x(00)(01)(01)2（2-8）xgf/y(10)(10)(00)2（2-9）y由x、y这两个方向梯度，我们可以得到梯度幅值M(x,y)和梯度方向(x,y)：16 第二章公路面层病害视觉检测流程及相关算法22M(x,y)gg22（2-10）xy(x,y)arctan(g/g)135（2-11）yx我们由上面算得的g,g,M(x,y),(x,y)都是与原图等大的图像，其中求(x,y)xy是为了确定梯度的方向，并在之后做非极大值抑制时，一次作为对比方向；M(x,y)用来确定该点是否为边界点，由图像可知，M(x,y)的值越大，则表示沿该梯度方向，灰度值变化越大，越可能为边界点。步骤三：对第步骤二中得到的幅值图像做非极大值抑制：我们按照水平向、垂直向、左右45四个方向，将邻域划分出四个区域，并把（2）中得到的梯度方向归入这四个区域中的一个，如图2.9所示，之后在该区域中挑选出幅值最大的点，标记并保留其灰度值，其余点抑制，赋值为0。+45°方向(i-1,j-1)(i,j-1)(i+1,j-1)(i-1,j)(i,j)(i+1,j)水平方向(i-1,j+1)(i,j+1)(i+1,j+1)-45°方向水平方向图2.10梯度方向的邻域范围步骤四：双阈值边缘点检测及边缘连接：特别的，Canny边缘检测算法引入了双阈值，T和T。在Matlab的Canny边缘检测函数中，高低阈值T和T的值是固定的HLHL（T=0.3,T=0.1），在步骤三得到的非极大值抑制的图像中找到最大的幅值Max，HL并且更新T=T×Max，T=T×Max;而在opencv的Canny函数中，高低阈值是需要HHLL自己赋值的。有了T和T阈值后，我们在经过非极大值抑制后的幅值图像上找大于T的点，HLH赋值为1；小于T的点，赋值为0；而大于T小于T的点，我们需要搜索其连通域，LLH如果邻域内有值为1的点，则当前点被认为是边缘，赋值为1并做连接，否则不是边缘赋值为0。Canny边缘检测算法检测结果如图2.8(b)所示，因为采用了大阈值左边缘检测、小阈值连接这种双阈值思想的缘故，Canny边缘检测结果的目标区域连通性比其他的边缘检测算法更为优秀。可以更为完整地检测出所要检测图像中目标的整体轮廓，该17 西安电子科技大学硕士学位论文算法受到灰度值波动影响较小。2.3.2直线检测算法当线目标较窄时，我们可以用直线检测或直线拟合算法来寻找线目标的区域。较为常见的直线检测算法主要有：模板卷积、Hough直线检测算法、LSD直线检测算法。-1-1-1121G121Gx222y111121图2.11水平、垂直向直线检测矩阵模板1）直线模板卷积：与前面提到的滤波和边缘检测类似的，模板卷积也可以用来检测直线，只是模板稍作修改而已[29]，例如图2.11所示的3×3水平竖直直线检测模板g和g，具体实现过程同滤波类似，这里不做赘述。xy2）Hough直线检测：Hough直线检测算法是一种非常巧妙的算法，它是利用直角坐标系和极坐标系的点线对偶关系来检测直线的[30]。对于直角坐标系中任一条直线，我们有很多种表示方式：例如斜截式（2-12）以及极坐标式（2-13）ykxb（2-12）rcosxsiny（2-13）在斜截式中，横纵坐标为x，y，两个参数k为直线的斜率，b为直线的截距；而转换为极坐标表达式后，横纵坐标分别变为和r,两个参数为该直线在直角坐标系中的点集x和y。因此对应的斜截式中的任意一点x,y，在极坐标式中的方程式00就变为：rcosx0siny0（2-14）点和直线在直角坐标系和极坐标系中的转换关系，我们可以知道直角坐标系中的一条直线对应于极坐标系中一个点；而直角坐标系中的一个点，则对应着极坐标系中的一条正弦曲线。那么我们在直角坐标系中的一条直线上，取任意个点，它们在极坐标系中对应的正弦曲线必然交于一点。任意一条直线和一个点在直线坐标系和极坐标系中的图像如下图2.12所示：18 第二章公路面层病害视觉检测流程及相关算法yrr0x0(a)直角坐标系中直线图像(b)极坐标系中直线图像yr0x0(c)直角坐标系中点的图像(d)极坐标系中点的图像图2.12直线和点在直角坐标系和在极坐标系中的图像由这个性质，我们就可以引入Hough直线检测算法：对于图像中所有梯度大于阈值的点，我们均把他们转换到极坐标系中的一条正弦曲线，然后记录并统计正弦曲线焦点个数并把这些点转换到直角坐标系中便找到了图像中的点拟合的直线。实现如下图2.13所示。图2.13Hough直线检测由结果图2.13可知，对于边界较少且明显的图像Hough算法检测的边缘效果还是令人满意的，值得注意的是，Hough算法得到的并不是线段，而是一条直线，只有该直线的斜率和截距并没有端点。可惜对于本文提到的道路缺陷图像，即使滤波之后，其梯度图噪声也不可避免得非常多，如果用Hough算法来检测边缘的话，那么一来运算量极大，效率不能满足要求，二来对于梯度十分密集的图像，Hough算法显然很难19 西安电子科技大学硕士学位论文拟合到目标直线区域，所以并不适用于我们的道路缺陷图像。3）LSD直线检测算法：LSD是一种用来做直线检测分割的算法，该算法可以在线性的时间内得到亚像素级精度的检测结果[31]。特别的，在任何图像直线段检测上，该算法并不需要设置参数。LSD算法实现如下：（1）同其他边缘检测算法类似，首先需要对原图进行滤波操作，我们用2.1节提到的高斯滤波即可。（2）梯度幅值和方向计算。该步骤同2.2小节中Canny算法的第二步类似即分别算出x，y方向的梯度值：gf/x（2-15）xgf/y（2-16）y（3）梯度排序。经验可知，梯度值越大的地方，边缘特性越明显，所以该算法首先要选取梯度值最大的点，并以此作为种子点起点，来找出后续直线段。实际LSD算法中，考虑到排序的复杂度，所以将梯度范围划分几个等级，来对当前梯度值所属等级排序，同时低于阈值的梯度值得到抑制记为0。（4）直线段增长。沿着该点的边缘方向，划分该方向的领域，如2.2小结Canny算法的图2.9所示。与区域增长算法类似，LSD算法将邻域内的所有梯度值及其对应坐标保存在点集line中，然后在其中选取最合适的值作为线段边缘的梯度值（一般的选取梯度值最大的点），连接该点与起始点，并在领域内清除掉该点，加入沿边缘方向（line-angle）在该点后面的一个点，更新line，并且在line中重新找到重心，做line的最小包围矩形，矩形的长轴方向即为该点集新的边缘方向。更新区域角度如公式（2-19）所示：isin(line-anglej)(x,y)arctan（2-19）jcos(line-anglej)（5）检查直线段。（4）中得到的直线点集line都只是疑似边界点，这一步要判断line中点集是否符合连接成直线段的要求。我们找到了点集的最小包围矩形，就可以求出该矩形内点集的密度Dk/S。其中k为点集line的最小包围矩形内所有梯度的个数，而S为包围矩形的widthlength。算法内设置一个截断阈值（一般的d=0.7）。若满足D>，则该点集满足作为结果直线段的条件，否则，我们认为点dd集包含范围过大，需要截断。一般的做法为缩小（4）中的角度容忍阈值，再次从t20 第二章公路面层病害视觉检测流程及相关算法当前种子点重复（4）开始搜索，直到满足截断阈值要求为止。LSD算法对公路图像检测效果如下：(a)公路原图(b)LSD处理结果图图2.14LSD直线段检测从上图LSD算法处理后的结果中可以看出，该算法不仅检测出来较易识别的道路直线边缘，而且连对比度较低的光束直线边缘也检测到了。从算法实现上，LSD直线检测算法和Canny边缘检测算子很像，所以同样的，常规的LSD算法用来检测，无论是检测效率还是从检测精度，相对来说都是非常优秀的。2.4超像素由于实际的道路病害需要分类并且统计，因此，就本文研究的碎裂和线裂这两类病害，我们不仅仅要知道病害所在的位置，而且还要知道裂缝的宽度width、裂缝的长度hight以及要计算出的碎裂区域的面积S，以方便之后的道路的修补工作。病害样本放大图如下图所示：(a)碎裂原图(b)500×500放大(c)50×50放大图2.15碎裂图像细节由图2.15(c)可以看到，道路病害图像整体看上去，目标病害区域周边存在着大量斑点噪声，类似于Sar图像中的相干斑噪声，无论目标还是背景像素间离散度均较大，这就是为什么常见的基于像素点的小邻域内的细节检测很难得到较好结果的原因。对21 西安电子科技大学硕士学位论文于离散像素点怎么拼接，拼接之后的集合怎么根据相邻集合之间的关系，拟合成完整的裂缝目标，就成了本课题研究的一大重点也是难点所在。2003年Ren等最早提出超像素这一概念，所谓的超像素，就是说根据图像的纹理、颜色、像素密度等细节信息，将一整张图像划分为若干小块，之后再将这些小块与它们相邻的小块按相似度进行合并拼接，直到得到理想结果为止[32]。超像素的思想迁移到道路病害图像的裂缝检测中，无疑是一个很好地选择，本节会依据基于图论的超像素分割方法和基于梯度下降的超像素分割方法这两类常见的算法，分别讨论其优缺点以及该算法道路病害图像检测的适用性。（1）基于图论的超像素分割方法：基于图论的分割算法是指，将一幅图像看作是一个无向图，而图像中每一个像素点则代表该无向图中的顶点，我们用V来代表无向图中顶点的集合，而每两个顶点间，我们赋予了它们一个权重we，其中e代表了无向图的边也就是两个像素的连线，那么权重we可以由这两个像素间空间相似度和像素灰度值相似度这两点转换出来。那么就可以存在一个分割S，我们把它看做是对V的一个划分，而每一个小区域CS对应于该无向图G(V,E)的一个连通的子图。其中，每一个子集一定的都会存在内部的差异，该差异可以由区域的最小生成树MST(C,E)上的最大的权值来量化，而子集间的差异则由两部分的最小权值边来表示。内部差异：Int(C)maxw(e)（2-20)eMSI(C,E)子集间差异：Dif(C,C)minw(v,v)（2-21)12ijvic1,vjc2如果Dif(C,C)Int(C)或者Dif(C,C)Int(C)那么代表C和C这两个区域12112212可以拼接在一起，否则不可以合并。一种更好的最小割1分割最小割2图2.16基于图论的最小割与最优分割22 第二章公路面层病害视觉检测流程及相关算法但是显然的按照这种分割方法，只是一个寻找子图间代价函数的最小划分，它只是寻找了子图间的最小耦合度来寻找最小割，而这样往往并不能得到最优的理想的分割结果，如图2.16所示。因此J.Shi和J.Malik于1997年提出了NCut算法[34]，对最小割的问题做出改善，NCut采用了归一化的割的标准，这一标准，同时度量了区域的类间差异和类内的相似度特性。这样做，最终避免了之前这种最小割问题的出现，得到了一种比最小割更好的分割结果。cut(A,B)cut(A,B)NCut(A,B)assoc(A,V)assoc(B,V)(2-22)其中，assoc(A,V)和assoc(B,V)分别代表A、B中所有的点到集合V中所有节点的权重总和，而cut(A,B)则是之前求出的A、B的割。这样得到的分割便为最优分割。然而实际操作中，NCut算法复杂度太高并不适用于做大规模的实时检测。（1）基于梯度下降的超像素分割方法1）分水岭方法：顾名思义分水岭方法使用类似于图2.17所示的拓扑地形来描述一副图像的。图像中的灰度值可以类比于海拔的高度，那么图像中像素极小值聚集区域则可以看做一个集水区域，之后则用漫水浸没的思想，以某一高度的水面与山脊的交线作为分割后不同区域的边界线[35]。分水岭集水盆地极小值图2.17Watershed拓扑地形图很明显的这种思想并不适合作用于相干斑严重的SAR图像或者是斑点噪声比较严重的道路病害这一类图像，因为漫的水会从斑点噪声缝隙中“溢出”，并不能形成很完整的边界。23 西安电子科技大学硕士学位论文Meanshift方法：1975年，由Fukunaga和Hosteler最早提出了Meanshift方法。这一算法的主要思想很简单，即对于图中的每一个点，不断沿着其邻域内密度梯度上升最快的方向进行偏移，直到偏移到密度极值点为止[36]。每一幅图像的密度分布一定是固定的，因此，只需要有限的迭代次数，就可以得到稳定的数据分布的点集，而这些点集所代表的区域，便是Meanshift算法分割后的结果，而对于我们的道路病害图像来说，该区域便是我们要找的病害区域。算法思想和预期结果很明显和我们的目的十分吻合，具有很强的稳定性。然而，该算法复杂度较高，分割较慢，并不适合直接用于对道路病害图像的处理。2）Turbopixels方法：A.Levinshtein等于2009年描述了一种基于几何流的算法[37]。该算法主要思想是膨胀开始设置的种子点，并结合曲率演化模型区域的骨架化过程，直到区域的边缘相互重合位置，以此来得到网格状的超像素。由上可知，Turbopixels算法并没有考虑到噪声的影响，所以该算法抗噪性很差，并不适合斑点噪声密集的道路病害图像的处理。3）SLIC方法：R.Achanta等则提出了一种更为方便实现算法，将彩色图像转化为LAB颜色空间的图像，把L、A、B三个通道和X、Y两个坐标点组合起来，构造出一个新的五维的特征向量R，然后对每一个坐标点的特征向量进行计算距离相似度聚类操作[38]。实现过程如下：步骤一：初始化种子点：首先将一幅nn大小的图像，划分成K个相同尺度大小的超像素区域，那么每一个区域所含的像素个数SN/K。步骤二：判断种子点间的相似度：类比于二位向量间的相似度可由欧氏距离等距离特征来衡量，那么我们的五维特征向量R也可以依据一定的关系来衡量向量间的相似度。222d(ll)(aa)(bb)Labijijij22d(xx)(yy)xyijijmDdd(2-23)LabXYLabxys上式中，D便为待求的两个像素间五维特征向量的相似度。其中d为图像labXYlab在Lab模式下的像素间相似度，而d为两个像素点的空间相似度，m为调节系数。xy因此，最终求得的D的值越大，则代表两个像素点越相似，也就是越可能被划分labXY24 第二章公路面层病害视觉检测流程及相关算法在同一类里。这种两个像素点的五维特征向量求相似度，虽然易于理解，容易实现，然而维度越大意味着需要的存储量，和运算量也越高。并且根据先验知识，我们的道路病害图像为单通道图像，所以并不需要转换成五维特征向量，可以参考该算法转化为Gray、X和Y这三个维度的特征向量即可，运算量也大大降低了。以上超像素算法，在不同情况下有着各自的优点和缺点，然而直接应用于我们的道路缺陷图像上时，效果却并不理想，因此，便有了本文的小区域像素密度上升搜索算法。2.5本章小结本章首先介绍了公路面层病害视觉检测算法的流程，主要包括了图像预处理、裂缝目标粗检测、裂缝边缘精确分割这三部分。接下来，针对公路面层病害视觉检测算法的三个主要部分，分别分析了每一部分通常会用到的一些算法：1）在图像预处理方面，介绍了一些常见的频域和空间域滤波算法；2）在目标区域快速搜索问题上，则详细介绍了一些常见的边缘检测、直线检测算法；3）在裂缝目标精确分割部分，着重介绍了几种常用的超像素算法。为下面几个章节对于公路面层病害检测算法的提出做了大量铺垫工作。25 西安电子科技大学硕士学位论文26 第三章基于重力叠加模型的双边滤波算法第三章基于重力叠加模型的双边滤波算法滤波算法作为图像预处理中的基本操作，它的存在，可以使得原始图像中噪声大大减少，平滑背景，突出待检测目标，可以为之后的目标检测操作提供极大的帮助。在第二章第二小节中，我们谈到了双边滤波算法，该算法同时考虑了相邻像素间的空间相似性和像素灰度值相似性，因而该算法实现后的结果不仅有着其他滤波算法平滑背景和目标噪声的优点，同时弥补了传统滤波边缘被平滑掉的缺点，最大限度地保证了目标边缘的完整性。本章结合了双边滤波算法的优点和由于大量斑点噪声导致的道路病害图像灰度值离散的特性，提出了基于重力叠加模型的双边滤波算法。3.1基于光照补偿的预处理(a)碎裂原图(b)曲面侧视图(c)曲面斜视图(d)曲面俯视图图3.1线裂图及其三维曲面视图在平面量x，y和一个与这两个自变量对应的应变量f(x,y),xC,yC组成，12其中C，C分别为两个自变量x和y的取值范围。如果把一幅图像Im的左上角当做12坐标顶点，而图像中每一个像素点的纵坐标看做自变量y的取值，横坐标看做自变量27 西安电子科技大学硕士学位论文x的取值，该点像素值calue看做是与自变量x，y对应的因变量f(x,y),0xIm.cols,0