资源描述：
《基于特征点的目标跟踪算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
NanjingUniversityofAeronauticsandAstronauticsTheGraduateSchoolCollegeofAutomationEngineeringResearchontheAlgorithmofTargetTrackingbasedonFeaturePointsAThesisinInstrumentScienceandTechnologybyDingYourongAdvisedbyProf.WangJingdongSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringJanuary,2013 承诺书本人声明所呈交的硕士学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京航空航天大学或其他教育机构的学位或证书而使用过的材料。本人授权南京航空航天大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本承诺书）作者签名：日期： 南京航空航天大学硕士学位论文摘要随着信息技术的迅猛发展，基于视频的目标跟踪技术在很多领域具有广泛的应用价值。复杂的背景下，人们通过人眼以及大量的先验知识，可以轻松的对运动目标进行跟踪。但是，如何利用机器视觉技术通过视频流获得运动目标的相关信息从而进行目标跟踪则是一项充满挑战的工作。本文研究了基于特征点目标跟踪算法，基于特征点目标跟踪算法分为特征点提取算法和特征点匹配两个部分。为了满足目标跟踪系统的实时需求，本文选择了耗时量少的FAST特征点提取算法，并采用了同态滤波和自适应阈值对FAST算法进行优化。优化后算法具有在不同光照情况下适应能力较强的特点，且达到了抑制多个特征点块的目的。在特征点匹配过程中，采用了金字塔的KLT光流匹配技术。针对匹配后存在不稳定特征点的问题，本文提出了一种前后向匹配法去除不稳定特征点，从而增加了跟踪的准确性。在特征点跟踪过程中间，随着不稳定特征点的逐渐剔除，目标的有效特征点逐渐减少甚至消失。针对特征点跟踪这一缺点，本文运用了特征点跟踪与粒子滤波结合的方法。采用了协方差矩阵技术来描述目标，作为粒子滤波的观测值。实验表明，基于协方差矩阵的粒子滤波算法具有一定的抗同色干扰的能力，并且整体优化后的算法跟踪稳定性较高。针对目标被短时间严重遮挡情况，本文提出了一种遮挡情况下的跟踪策略。通过不断扩大搜索区域，将运动目标的梯度以及颜色信息等多个融合来实现对运动目标的重新识别。实验表明，当目标遮挡结束时，算法可以准确的识别目标。关键词：目标跟踪，特征点提取，特征点匹配，粒子滤波，协方差矩阵I 基于特征点的目标跟踪算法研究ABSTRACTWiththerapiddevelopmentofinformationtechnology,thetargettrackingtechniquebasedonthevideohasawideapplicationvalueinmanyfields.Wecanachievetargettrackingeasilythroughthehumaneyesoralargenumberofpriorknowledgeundercomplicatedbackground.Buthowtoobtainrelevantinformationofthemovingtargetthroughthestreamingvideotorealizethetargettrackingisachallengingjob.Theprincipleoftargettrackingalgorithmbasedonfeaturepointswasresearched.Thealgorithmwasdividedintofeaturepointextractionalgorithmandfeaturepointmatchingtwoparts.Inordertoadapttheinstantaneityofthetargettrackingsystem,FASTfeaturedetectionalgorithmwaschosedandimprovedbyhomomorphicfilteringandadaptivethresholdvaluewhichcanadapttothesituationofdifferentilluminationandcontrasttoacertaindegreeandachievethegoalofsuppressingmultiplefeaturepointblocks.Duringtheprocessoffeaturepointsmatching,thepyramidKLTopticalflowmatchingtechnologywasused.Tosolvetheproblemofunstablefeaturepoints,themethod“matchingbeforeandafter”wasproposedtoremoveunstablefeaturepoints,sothatthesystemismoreaccurate.Owingtothecontinuouslyrejectingofunstablepoints,changesoftarget’sposeandenvironmentaldisturbanceduringthetrackingprocess,thenumberofeffectivefeaturepointsofthetargetisgraduallyreducedandevenbecomeszero.Tosolvethisproblem,thepaperputforwardthewayofcombiningthefeaturepointtrackingwithparticlefilter.Andtosolvetheproblemofsamecolorinterference,thecovariancematrixtechnologywasusedtodescribethetarget.Theexperimentalresultsshowedthatparticlefilteralgorithmbasedoncovariancematrixiscapableofresistingthesamecolorinterferencetoacertaindegreeandthisalgorithmisverystable.Akindoftargettrackingstrategywasproposedtofitthesituationwherethetargetisoccluded.Withtherecoveryofocclusion,anewrecognitionofmovingtargetwasachievedthroughconstantlyexpandingthesearcharea,fusingtarget’sgradient,gray,colorandotherfeatures.Theexperimentalresultsshowedthatitcanidentifythetargetaccuratelyinthesituationofshortocclusion.Keywords:Targettracking,Featuredetection,Featurematching,Particlefilter,CovariancematrixII 南京航空航天大学硕士学位论文目录第一章绪论............................................................................................................................................11.1课题的研究背景及意义............................................................................................................11.2国内外研究现状........................................................................................................................21.3基于特征点的目标跟踪方法概述............................................................................................41.4本文的研究内容和创新点........................................................................................................51.4.1本文的研究内容.............................................................................................................51.4.2本文的创新点.................................................................................................................6第二章FAST快速特征点提取算法......................................................................................................72.1引言...........................................................................................................................................72.2FAST特征点提取算法原理概述..............................................................................................72.3FAST特征点提取算法的优化..................................................................................................82.3.1图像光照强度补偿.........................................................................................................82.3.2自适应阈值的确定.......................................................................................................112.3.3局部非极大值抑制法...................................................................................................122.4实验结果及分析......................................................................................................................132.4.1FAST算法优化前后实验结果分析.............................................................................132.4.2不同特征点提取算法性能对比...................................................................................16第三章基于FAST特征点的目标跟踪算法.......................................................................................193.1引言.........................................................................................................................................193.2特征点的匹配技术..................................................................................................................193.2.1特征点的匹配技术概述...............................................................................................193.2.2KLT光流匹配技术.......................................................................................................193.2.3金字塔的KLT光流匹配技术.....................................................................................213.3前后向匹配法去除不稳定特征点..........................................................................................223.4基于FAST特征点的目标跟踪算法流程..............................................................................233.5实验结果及分析......................................................................................................................233.5.1前后向匹配法去除不稳定点实验结果分析...............................................................233.5.2基于特征点跟踪算法存在的缺点...............................................................................25第四章目标跟踪与粒子滤波结合方法研究.......................................................................................27III 基于特征点的目标跟踪算法研究4.1引言.........................................................................................................................................274.2粒子滤波算法原理概述..........................................................................................................274.2.1贝叶斯重要性采样定理...............................................................................................284.2.2序列重要性采样...........................................................................................................294.2.3粒子的退化现象...........................................................................................................314.2.4标准的粒子滤波算法步骤...........................................................................................314.2.5正则粒子滤波算法.......................................................................................................324.2.6粒子滤波算法仿真实验结果分析...............................................................................344.3基于协方差矩阵的粒子滤波技术..........................................................................................354.3.1融合多种信息的目标协方差矩阵表示.......................................................................354.3.2积分图法.......................................................................................................................364.3.3协方差矩阵之间的相似度...........................................................................................384.3.4基于协方差矩阵的粒子滤波技术步骤.......................................................................384.4目标跟踪与粒子滤波结合方法..............................................................................................394.4.1目标跟踪与粒子滤波结合方法流程...........................................................................394.4.2目标跟踪与粒子滤波结合的实验分析.......................................................................404.4.3抗同色干扰的实验分析...............................................................................................424.5遮挡情况下目标的跟踪策略..................................................................................................424.5.1部分遮挡情况本文算法的实验效果...........................................................................434.5.2完全遮挡情况跟踪策略...............................................................................................434.5.3目标在遮挡情况下的跟踪流程图...............................................................................444.5.4实验结果及分析...........................................................................................................454.6本文整体跟踪算法的流程......................................................................................................46第五章运动目标跟踪系统的实验平台...............................................................................................485.1引言.........................................................................................................................................485.2系统硬件.................................................................................................................................485.3系统软件.................................................................................................................................49第六章总结与展望..............................................................................................................................516.1工作总结.................................................................................................................................516.2研究展望.................................................................................................................................52参考文献................................................................................................................................................53致谢......................................................................................................................................................57IV 南京航空航天大学硕士学位论文图清单图2.1FAST特征点提取模板示意图.............................................................................................8图2.2同态滤波前后的FAST特征点提取效果.........................................................................10图2.3同态滤波前后的图像灰度直方图.....................................................................................11图2.4FAST算法提取效果(原方法).............................................................................................14图2.5FAST算法提取效果(同态滤波).........................................................................................14图2.6FAST算法提取效果(同态滤波和自适应阈值).................................................................14图2.7FAST算法提取效果(同态滤波、自适应阈值和局部非极大值抑制).............................14图2.8亮度增加25%的放大图....................................................................................................15图2.9亮度变化序列图像中算法的性能指标对比.....................................................................16图2.10SIFT特征点提取算法实验效果......................................................................................17图2.11FAST特征点提取算法实验效果.....................................................................................17图2.12优化FAST特征点提取算法实验效果...........................................................................17图3.1基于FAST特征点的目标跟踪算法基本流程图.............................................................23图3.2FAST特征点提取效果图...................................................................................................24图3.3未去除不稳定特征点的跟踪效果的坦克截图.................................................................24图3.4前后向匹配法去除不稳定特征点的跟踪效果的坦克截图.............................................25图3.5坦克姿态发生变化较大时提取效果.................................................................................25图3.6扩大搜索范围重新提取特征点的跟踪效果.....................................................................26图4.1粒子滤波算法与正则粒子滤波算法的误差仿真结果.....................................................34图4.2图像矩形区域表示.............................................................................................................37图4.3结合粒子滤波的特征点目标跟踪算法流程图.................................................................40图4.4FAST特征点跟踪算法的跟踪效果...................................................................................40图4.5粒子滤波结合的特征点跟踪算法的跟踪效果.................................................................41图4.6特征点目标跟踪算法耗时量.............................................................................................41图4.7FAST特征点跟踪算法的跟踪效果...................................................................................42图4.8粒子滤波结合的特征点跟踪算法的跟踪效果.................................................................42图4.9本文算法在部分遮挡情况下的跟踪效果.........................................................................43图4.10模板图在搜索图上的匹配...............................................................................................44图4.11目标在遮挡情况下的跟踪流程图...................................................................................45图4.12未使用遮挡跟踪策略的跟踪效果...................................................................................45图4.13严重遮挡情况下本文策略的跟踪效果...........................................................................46图4.14目标与模板的协方差矩阵系数变化图...........................................................................46图4.15本文整体跟踪算法的流程图...........................................................................................47图5.1EVI-D70P云台一体化摄像仪和Ospery-210视频采集卡...............................................48图5.2系统硬件框图.....................................................................................................................48图5.3系统的硬件连接图.............................................................................................................49图5.4DirectShow系统结构.........................................................................................................49V 基于特征点的目标跟踪算法研究图5.5实验平台主界面.................................................................................................................50VI 南京航空航天大学硕士学位论文表清单表2.1不同特征点提取算法性能数据.........................................................................................17表2.2不同特征点提取算法的耗时量.........................................................................................18表4.1粒子滤波算法仿真模型的初始值设置.............................................................................34表4.2跟踪过程两种方法获得的目标特征点数目.....................................................................41VII 基于特征点的目标跟踪算法研究缩略词缩略词英文全称FASTFeaturesfromAcceleratedSegmentTestKLTKanade-Lucas-TomasiFeatureTrackerSSDSumofsquaredintensityDifferencesPRFRegularizedPartieleFilterOpenCVOpenSourceComputerVisionLibraryVIII 南京航空航天大学硕士学位论文第一章绪论1.1课题的研究背景及意义随着信息技术的迅猛发展，计算机视觉技术的研究已经逐渐成为国际上的热门方向。计算机视觉技术又称为机器视觉，它是将计算机技术与视频摄像技术相结合，从而代替传统的人眼[1]来对目标进行识别跟踪的技术。其中，基于视频的目标跟踪技术则是计算机视觉中的突出热点，它结合了众多领域的先进技术，如：人工智能，图像处理、信息科学、模式识别、自动控制等技术。并且随着计算机计算和存储能力的不断提高、高质量摄像机的普及以及自动视频分析需求的不断上升，基于视频的目标跟踪技术必将在未来得到进一步的发展。基于视频的目标跟踪技术，指根据已知的目标初始状态，和图像序列中提取到的目标特征，进行目标状态估计，从而获得目标的相关参数，如质心的位置、速度、加速度，或者目标整体所占的图像区域、运行轨迹等。复杂的背景下，人们通过人眼以及大量的先验知识，可以轻松的对运动目标进行跟踪。但是，如何利用机器视觉技术通过视频流获得运动目标的相关信息从而进行目标跟踪则是一项充满挑战的工作。[2]基于视频的目标跟踪技术具有广泛的应用前景，主要应用领域有智能视频监控系统、人[3][4][5][6]机交互系统、视觉伺服系统、视频压缩领域、视觉导航系统、虚拟现实技术领域等。(1)智能视频监控系统。智能视频监控系统是当今应用最活跃的领域，涵盖了社区和重要建筑的安防系统、城市交通及高速公路等的监控系统、军事目标的检测监视系统等等诸多方面。相比传统的视频监控系统，可以自动完成目标事件检测并进行实时处理。这样可以节省人力成本的同时也提高了监控系统的效能。[7](2)人机交互系统。所谓人机交互，是指人和计算机之间进行信息的交换。通过计算机跟踪人体并记录人体的姿态变化，然后将其与训练得到的样本进行比较，即可识别出人体目标该动作的含义。因此可靠有效的视频跟踪技术正是完成人机交互的关键基础。(3)视觉导航系统。在军事领域，视觉跟踪作为导航系统的关键技术应用于导弹跟踪拦截、无人驾驶飞行器等。在民用领域，视觉跟踪技术应用于智能机器人视觉导航中，使人们的生活逐渐智能化。由于基于视频的目标跟踪技术的巨大应用价值，很多学者投入到视频目标跟踪技术的研究中，并且出现了大量的算法。随着研究的不断深入以应用领域的不断扩大，基于视频的目标跟踪技术的要求也相应的变高。因此，寻求一种高鲁棒性、高精确度、高可靠性的算法仍是学术上研究的热点和难点，基于视频的目标跟踪技术具有重大的科研意义。1 基于特征点的目标跟踪算法研究1.2国内外研究现状为了使基于视频的目标跟踪技术在社会的各个方面发挥广泛的作用。世界上许多著名大学和科研机构都专门成立了针对视频的目标检测和跟踪的研究小组。国外在基于视频的目标跟踪与检测技术方面的研究已经有很长的一段时间，涌现了大量的实用技术。近年来，国外的很多权威杂志和期刊也刊登了大量的目标跟踪算法的文章，为学者提供了丰富的交流和研究平台。本文列举了一些研究机构及相关项目系统，如下：(1)早在1997至1999年期间，美国国防高级研究项目署(DARPA)设立了视觉监控重大项目[8]VSAM，该项目由卡内基梅隆大学及其他多所高校共同参与，主要研究军事和民用领域中的视频智能监控系统系统，该系统主要采用了三帧时域差分法实现运动目标的检测，并且采用自适应模板匹配的方法实现对视频中目标的跟踪；[9](2)美国马里兰大学在2004年研制出了一个著名的视觉实时跟踪系统M4。该系统的研究重点是对人体的运动跟踪，并且提出了一套成熟的算法用于人体的运动跟踪。系统通过建立相应的人体模型实现在有遮挡的户外环境中对多个人体目标的跟踪；[10](3)CMU为了克服在单个摄像机监控下出现多个运动目标互相遮挡时无法准确定目标位置信息问题，采用了多摄像机协同方式，开发了适用于大范围场景的多摄像机监控系统，该系统能够在复杂场景中实现对人或车辆进行检测和跟踪；(4)近年来，目标跟踪技术在交通方面的应用逐渐成为热点，最著名的是美国喷气动力实验室资助了五个关于大范围交通检测技术的研究项目，并且其中有三个项目已经运用到商业领域。这些项目中主要都是通过深入研究图像中局部区域的灰度或者颜色的变化来检测运动目标，结合块匹配技术以及颜色信息来跟踪运动目标；(5)美国波斯顿大学和马里兰大学联合也研制了应用于高速公路上汽车的实时视觉系统，该系统采用颜色、边缘和运动信息来识别和跟踪道路边界、车道和其它车辆等。国内对基于视频的目标跟踪和检测技术的研究起步相对比较晚，但是随着近年来传感器技术和图像处理技术迅猛发展，这些技术给国内的学者对目标检测和跟踪技术研究提供了良好的研究条件。并且随着基于视频的目标跟踪技术在军用和民用领域的强大的应用价值，世界各国纷纷将其列入重要的研究计划。2002年，在中国科学院自动化研究所、国家自然科学基金委员会和中国自动化学会的支持下，中国科学院自动化研究所模式识别国家重点实验在北京成功承办了“第一届全国智能视觉监控学术会议”，旨在推动我国的视频监控技术发展探讨视觉监控技术的发展动态与趋势，促进我国科研人员在此领域的交流与合作。为了进一步推动国内外科研人员在视觉监控领域的广泛交流，“第三届全国智能视觉监控学术会议”也已于2011年在北京召开。迄今为止，基于视频的目标跟踪技术相对比较完善。针对不同的应用场合及需求，研究人2 南京航空航天大学硕士学位论文员已经设计研发了许多的目标跟踪方法。一般情况下目标跟踪方法被分为以下几类：(1)基于目标区域的跟踪。该方法利用高斯分布建立目标模型和背景模型，目标的像素点被分配于不同的区域部分，通过跟踪各个小块区域的匹配来完成对整个目标的跟踪。早期，Lucas[11]等人提出了一种利用灰度图像的空间梯度寻找最佳匹配区域的方法，然而此方法目标模型建[12]立固定，不能处理长时间的跟踪问题。因此，文献提出了一种跟踪过程中采用在线期望最大[13]化方法实时更新目标模型，使得模型可以表示目标外观的最新状态。文献提出了结合主动轮廓模型来对目标模板进行适时更新。基于目标区域跟踪的方法还经常与线性预测、二次曲线预[14]测、Kalman预测等多种预测算法结合使用以估计每帧图像中目标的位置，如文献设计了一个滤波器来对运动目标位置进行预测，增强了目标跟踪的鲁棒性。通常情况下基于目标区域的跟踪稳定性和目标模型和背景模型建立有关，跟踪误差逐步积累，因此随着跟踪图像帧数的增加，误差也随之增大，并且一旦出现跟踪错误，后续跟踪很难进行。(2)基于变形轮廓的跟踪。该方法通过跟踪目标的轮廓信息在图像中找出感兴趣的部分，这[15]种基于物体轮廓的跟踪是计算机视觉一个重要的研究领域。该方法最经典的是Jepson等人提出的主动轮廓模型的跟踪，又称Snake模型跟踪，它是采用封闭的可变曲线来描述运动目标，该曲线又被称为Snake。Snake曲线中包含许多个受控点，这些受控点逐步向目标特征点靠拢。这是一个寻找最小能量的过程，内部能量体现为曲线轮廓的连续性和光滑性，外部能量则是用来推动这一进程，进而形成平滑连续的曲线轮廓。该方法的优点是综合考虑了图像的灰度信息以及目标整体轮廓的几何信息，从而使得跟踪的可靠性大幅度提高，并且算法在尺度空间中由粗到精的极小化能量，这样可以极大地扩展捕获区域和降低计算复杂性。缺点是跟踪的效果受系统初始化和局部噪声地影响。并且由于Snake模型的非凸性，它有可能收敛到局部极值点，[16]甚至发散，影响跟踪效果。在此算法的基础上，涌现了许多改进算法。文献提出了利用多个[17]Snake模型实现对目标的稳定跟踪。为了克服传统的Snake模型只适合单目标的缺点，文献[18]提出了基于水平集的主动轮廓模型。文献使用基于粒子滤波和水平集的方法分割几何活动轮廓模型的运动目标，在复杂环境下跟踪变形目标取得了较好的效果，但这种改进算法存在算法复杂、计算量大等缺点。(3)基于目标模型的跟踪。该方法首先根据已有的先验知识对所要跟踪的目标建立模型，然后将模型与跟踪目标进行匹配，并实时更新目标模型。早期，很多学者建立2D目标模型，如[19]Ju等人提出的纸板模型。但2D模型存在明显的对视角限制的缺点，因此许多研究者运用圆[20][21][22][23]锥、球、二次曲面、椭圆柱面等建立3D立体模型解。如文献利用椭圆锥建立了3D人体模型，并且结合扩展Kalman滤波方法，实现单目图像序列中对人体的跟踪。基于模型的跟踪方法利用了运动目标本身所具有的特殊性质，因此，与其它方法相比，它的可靠性更高，但该方法存在计算量比较大的不足，难以满足实时性的要求，且在进行跟踪之前需对跟踪目标3 基于特征点的目标跟踪算法研究建立好模型。(4)基于特征匹配的跟踪。该方法通过提取图像中的特征元素，在连续帧图像上对这些特征进行匹配从而实现目标跟踪。图像特征是图像中呈现的特有属性。与其他类的目标跟踪方法相比，基于特征匹配的目标跟踪原理简单易懂，在跟踪过程中对目标物的定位比较准确，并且对遮挡也有一定的适应能力。同时该方法只利用了目标上的局部特征进行计算，因此计算量比较小。基于上述优点，基于特征的跟踪方法自提出以来便得到了非常广泛地应用。一般情况下，[24]图像特征可以分为三类。区域特征，如文献利用特征矩阵来表示该区域的形状特征；边界特[25][26]征，如文献小波变化提取边缘特征进行目标跟踪；点特征(即特征点)，如ShisongZhu等人结合特征点和块匹配技术提出了一套车辆跟踪系统，目前取得了不错的效果。这些图像特征中，其中特征点是最为容易提取的和直观明显的，并且特征点所包含的信息量大，且相对稳定。此外，当图像中发生灰度变化或者形态变化时，特征点相对于其他特征具有较好的适应能力。综上分析，本文采用了基于特征点的跟踪算法进行目标跟踪。1.3基于特征点的目标跟踪方法概述基于特征点的目标跟踪方法是目标跟踪算法中重要的一类，近年来有很多丰硕的研究成果，[27]如AjmalS.Mian等人通过对KLT特征点提取算子改进，并利用相关的匹配技术实现对军事[28]飞机的鲁棒跟踪。针对特征点目标跟踪中的遮挡问题，文献采用了智能多视角的空间综合方[29]法，当目标被遮挡时，仍能实现准确的特征点跟踪。文献采用了结合SIFT特征点提取和KLT匹配技术实现了目标的稳定的跟踪。根据前面分析，鉴于基于特征点的目标跟踪方法的种种优点，本文将使用该算法对目标进行跟踪。基于特征点的目标跟踪方法主要分为两个步骤：(1)目标物的特征点提取。对目标物进行特征点提取的方法多种多样，常见的特征点提取算[30][31]法有：Harris特征点提取算法和SUSAN特征点提取算法。在这些经典的算法的基础上，又出现了一些通过扩大特征点的信息量，从而获得尺度变化不变的特征点的算法，如Lowe提[32]出了著名的尺度变换不变特征提取算子——SIFT算子,为了减少SIFT算子的计算量，Bay等[33]人提出了SURF提取算子。虽然这类算法稳定性好且具有旋转不变性，但这些特征算法的缺点也很明显，由于由它们最终获得的特征描述子的维数很高(SIFT特征描述子为128维，SURF特征描述子为64维)，因此这些算法的耗时量比较大，适合对实时性要求比较高的系统。由于目标跟踪系统是一个实时系统，因此在选择特征点之前，首先对目前常用的经典特征点提取算法进行实时性比较，只有在满足实时性的前提下，才能做其他方面性能的优化与提高，因此本文选取了实时性非常高的FAST特征提取算子来进行目标的特征提取。(2)特征点匹配。特征点匹配策略可以分为两种：基于穷尽搜索的特征点匹配策略和基于最4 南京航空航天大学硕士学位论文优估计的特征点匹配策略。前者是较为传统的匹配策略，即分别获取两幅图像特征描述子，根据一定的搜素策略对这些特征描述子进行计算，从而获得最优匹配结果。这种全局搜索的特征点匹配策略的计算量很大，因此不适合应用在对系统的实时性要求比较高的目标跟踪系统中。另外一种策基于最优估计的特征点匹配策略，这种匹配策略基于最优估计，只需要获取参考帧图像的特征点信息，并且不需要对图像进行全局搜索，从而加快了匹配的速度。因此本文将选取这种基于最优估计的特征点匹配策略对提取的特征点进行匹配。1.4本文的研究内容和创新点1.4.1本文的研究内容目标跟踪技术是计算机视觉技术研究中的一个热点，但不可否认的是这一项技术的研究存在着诸多的难点问题，这些难点大致可归结如下：(1)目标跟踪过程中，实时性和跟踪精度经常难以兼顾，如何在保证一定跟踪精度的基础上提高跟踪系统的实时性；(2)当目标在运动过程中姿态会发生变化时，如何通过算法优化仍能保证跟踪的稳定性；(3)对目标进行跟踪时场景中存在着大面积相似背景干扰时，如何保证算法仍能稳定跟踪；(4)目标在运动过程中因干扰物而产生部分或者全部遮挡。当目标受到遮挡时如何能够继续有效的完成目标跟踪。针对上述目标跟踪过程中存在的一些问题，本文的主要研究内容如下：(1)深入研究了基于特征点的目标跟踪算法。基于特征的跟踪方法本质上就是特征点的提取和匹配，最终确定图像中的目标位置。该方法使用了目标物的特征点信息，因此在跟踪过程中对目标物的定位比较准，跟踪精度比较高。首先，为了满足目标跟踪的系统的实时性需求，本文选取了耗时量比较小的FAST特征点提取算法，并采用了同态滤波和自适应阈值对FAST算法进行优化，优化后算法具有在不同光照情况下适应能力较强的特点，且达到了抑制多个特征点块的目的。然后，采用了金字塔的KLT光流匹配技术对提取的特征点进行匹配。最后，对得到的特征匹配点进行筛选，本文提出一种前后向匹配法去除不稳定点，最终实现目标定位。(2)在特征点跟踪过程中，随着对特征点中的不稳定点的不断剔除，有用特征点的数量会逐渐减少。特别是在跟踪过程中当目标姿态发生大幅度的变化，经常会出现目标的特征点急剧减少甚至消失的现象，这种现象会直接导致跟踪系统的不稳定，严重时甚至会引起跟踪目标的丢失。本文提出了特征点跟踪与粒子滤波相结合的方法，即当目标特征点少于一定的数量时，采用粒子滤波算法预测得到目标的大致位置再重新提取特征点，然后根据重新获得的特征点再继续进行特征点的目标跟踪。这样，可以很好的保证后续的稳健跟踪。(3)为了使粒子滤波算法估计结果更接近真实值，本文选择了正则粒子滤波算法代替标准的5 基于特征点的目标跟踪算法研究粒子滤波算法。此外，本文对粒子滤波算法中目标的描述方法进行了分析，采用了融合图像多种信息的协方差矩阵技术来描述目标，实验证明结合粒子滤波技术的特征点跟踪算法对目标姿态改变和同色干扰具有良好的适应性。(4)针对目标被遮挡的情况，本文提出了一种有效的跟踪策略。首先，本文研究的基于特征点的跟踪算法其本身对遮挡就具有一定的适应性，从理论和实验上都可证明，当目标发生部分遮挡时，利用残余的目标信息依旧能够继续进行跟踪。其次，利用协方差矩阵系数判断是否目标被严重遮挡。当目标发生严重遮挡时，本文整个跟踪算法会失效，此时应该停止跟踪算法。并且在严重遮挡时得到的跟踪结果的基础上扩大搜索区域，将运动目标的梯度以及颜色信息等多个融合来实现对运动目标的重新识别，最后恢复跟踪。1.4.2本文的创新点(1)本文研究了基于特征点的目标跟踪算法，基于特征点目标跟踪算法分为特征点提取算法和特征点匹配两个部分。为了满足跟踪系统的实时要求，本文选取了耗时量较小的FAST特征点提取算法，并对其进行了优化。首先，跟踪过程中，目标经常受光照变化的影响。为了使FAST特征点提取算法在不同光照的情况下具有一定的适应性，本文采用了同态滤波对图像进行光照补偿，均匀原图像的光照强度，为后续特征点稳定的提取打下基础。其次，为了克服FAST特征点提取算法阈值选取固定的缺点，本文运用自适应阈值对光照强度补偿后的图像进行初步提取得到候选特征点。最后，针对FAST特征点算法提取的结果会出现多个特征点块的缺点，提出了使用局部非极大值抑制法进一步对候选特征点进行筛选，从而达到抑制多个特征点块的目的。实验表明，改进后的算法具有稳定性高以及对不同光照情况下的适应能力较强的特点，并且运算量相对比于其他一些特征提取算法要小的多，满足跟踪系统实时应用的要求。(2)对基于特征点的目标跟踪算法进行分析，发现特征点经过KLT匹配和不稳定特征点的去除，可代入后续跟踪的有效特征点数目逐渐减少，并且随着目标姿态的变化会出现目标的特征点急剧减少甚至消失的情况，这种情况导致后续目标跟踪不稳定甚至目标丢失。针对这一缺点，本文运用了特征点目标跟踪与粒子滤波结合的方法，当目标特征点少于一定的数量时，启用粒子滤波技术，根据粒子滤波的预测位置对目标特征点进行重新提取。为了使粒子滤波算法的估计值更接近真实值，本文选择了连续重采样的正则粒子滤波算法代替标准的粒子滤波算法。本文对粒子滤波算法中的观测模型，即跟踪过程中目标特征描述方法进行了分析，采用了融合多种图像信息的协方差矩阵技术来描述目标。通过实验证明，当目标的位姿发生变化以及存在同色干扰时，结合粒子滤波的特征点目标跟踪算法具有一定的适应能力。6 南京航空航天大学硕士学位论文第二章FAST快速特征点提取算法2.1引言本文主要对基于特征点的目标跟踪算法进行深入研究。基于特征点的目标跟踪过程中利用了目标图像的特征点信息，特征点集中了图像中丰富的形状信息，是图像边缘梯度变化的极值[34]点或灰度变化剧烈的点。特征点是图像的一个非常重要的局部特征和图像的特有属性，因此基于特征点的目标跟踪算法在跟踪过程对目标物的定位比较准确，并且对目标发生部分遮挡时有一定的适应能力。基于特征点的跟踪算法分为特征点提取和特征点匹配两个部分，往往特征点提取和匹配有一定的耗时量，为了适应跟踪系统的实时要求，选择一个快速的特征点提取算法是非常有必要的。同时，在跟踪过程中，目标经常受光照变化的影响，因此特征点的提取算法在不同光照的情况下应该具有一定的适应能力。目前，特征点提取算法有很多种，本章将对其中较新的FAST(FeaturesfromAccelerated[35]SegmentTest)特征点提取算法进行深入研究与分析，FAST算法为一种简单快速的特征点提取算法，在2008至2010年期间由EdwardRosten,ReidPorter和TomDrummond提出的一种新式特征点检测算法。FAST特征点提取算法由于快速性被广泛应用于实时系统中，但算法也存在着一些缺点。当图像中存在阴影和照度变化等因素时，FAST算法的稳定性不高，适应能力差，并且提取的结果会出现多个特征点块。针对这些缺陷本章对算法进行了优化，首先对图像进行光照补偿，均匀图像的光照。然后采用了自适应设定阈值的方法来增强算法的稳定性和适应能力。最后采用局部非极大值抑制法达到抑制多个特征点块的目的。实验表明，改进后的FAST算法效果较好。2.2FAST特征点提取算法原理概述FAST特征点提取算法中，特征点的定义是在某一像素点的邻域内若存在足够多的像素点[36][37]与该点处于不同的灰度区域，则该点即为特征点。也可以理解为特征点的周围有足够多的像素点的灰度值大于或者小于特征点的灰度值。如图2.1所示，为FAST特征点提取模板示意图，图中的像素p点以其为中心可以形成一个圆形区域(半径等于3的离散化的Bresenham圆)，则中心像素p点被16个像素点包围。在16个像素点形成的圆周上，如果存在n个互相邻近的像素点的图像灰度值都大于I(p)+t，或者都小于I(p)-t(其中I(p)为p点的图像灰度值，t为阈值)，p则该圆的中心像素点为候选特征点。7 基于特征点的目标跟踪算法研究图2.1FAST特征点提取模板示意图[35]文献中提出，当n取12时，通过以下方法算法可以迅速的排除大量的非特征点。(1)算法首先分别计算中心像素p点与圆周上的像素1和像素9的灰度值之差，记为I1和I9，若I1和I9的绝对值都小于阈值t，则该像素点p为非特征点，否则像素点p为候选特征点，算法继续执行；(2)算法继续分别计算中心像素p点与圆周上的像素5和像素13的图像灰度值之差，记为I5和I13，若I1、I9、I5和I13其中至少三项差值都大于阈值t或者都小于t，则像素点p为候选特征点，否则该像素点p为非特征点。当判定像素点p为候选特征点时，算法继续执行；(3)按照步骤(1)和(2)的判断标准继续执行，直到检测完圆周上16个像素点。通过上述方法无需圆周上的所有像素点都和中心像素点比较，这样可以迅速的排除大量非特征点，降低算法的时耗。但是同时算法也存在着以下缺点：(1)算法中，直接对得到的灰度图像进行处理，通过与对比邻域像素点的灰度值得到特征点。跟踪过程中，一般得到的灰度图像存在光照不均匀的现象，若直接对这种图像进行灰度对比，很容易造成特征点提取不稳定甚至错误；(2)算法中，采取了单一的固定阈值来判定是否为特征点。对于不同的图像，它们的灰度和对比度都是有差异的，因此不能采用单一的固定阈值来满足不同图像的特征提取要求；(3)算法计算时，由于真实特征点附近像素点的性能和真实特征点的性能相像，所以这些像素点会被当成特征点检测出来，从而产生了特征块。特征块使得特征点的聚集率很高，降低了算法的应用性能。针对上述三种缺陷，本文对FAST算法进行了改进，采用了图像光照强度补偿、自适应设置全局阈值和局部非极大值抑制的方法。经实验证明，改进后的FAST算法，综合性能得到了一定的提高。2.3FAST特征点提取算法的优化2.3.1图像光照强度补偿目标跟踪过程中，运动目标经常会受光照的影响，并且视频图像通过摄像头捕获，会造成采集的图像光照不均匀、侧光、偏光和高光等，影响图像后续的特征点准确提取。因此在特征8 南京航空航天大学硕士学位论文[38]点提取之前，必须对图像进行预处理，即光照强度补偿。目前，光照强度补偿算法基本可以分为两类。一类是当光照均匀时的光照强度补偿方法，[39]如：直方图均衡化和对数变换等方法。另一类是当光照非均匀时的光照强度补偿方法，如：[40]基于形态学的滤波方法(Top-hat变化)、双立方插值法和基于频域的同态滤波方法。本文研究的是适应非均匀光照的情况下的特征点提取算法，因此选取第二类光照强度补偿方法。又因为基于形态学的滤波方法和双立方插值法具有计算量比较大的缺点，所以本文采用基于频域的同态滤波法进行光照补偿。同态滤波法通过减少图像的入射分量并增加图像的反射分量，来减少图像中光照变化和锐化边缘或细节，该方法由于其简单易行而被广泛地应用于不均匀光照下图像的补偿。下面将对同态滤波的算法原理进行简要的介绍。同态滤波法是一种压制图像亮度范围并且增加图像对比度的滤波算法，该算法的思想是通过减少图像的入射分量并增加图像的反射分量，从而达到均匀图像的光照并且锐化图像细节的目的。设一幅图像为I0(x,y)，其入射分量为i(x,y)，入射分量中包含图像光照不均匀的信息，其属于缓慢变化的低频成分。该图像的反射分量为r(x,y)，反射分量中包含图像的细节等特性，其属于高频成分。通常情况下，图像可以用入射分量和反射分量的乘积来表示，则图像I(x,y)可表示为：Ixy(,)ixyrxy(,)(,)(2.1)通过上面分析可知，对于光照不均匀的图像处理时，通过压制图像的低频分量来减少入射分量的影响，同时放大图像的高频分量来增强物体的反射分量。基于该思想，首先对式(2.1)两边同时取对数可得：ln(,)ln(,)ln(,)Ixyixyrxy(2.2)其次对上式进行傅立叶变换，将图像灰度转换到频域内，得图像频域的表达式：Fuv(,)Im(,)Re(,)uvuv(2.3)通过上面分析可知，算法需抑制低频分量和放大高频分量，则需要一个具有高通性能的滤波器对上式进行滤波。设该滤波器的函数为H(u,v)，也被称为同态滤波函数，可得：HuvFuv(,)(,)Huv(,)Im(,)uvHuv(,)Re(,)uv(2.4)最后将滤完波得到的频域结果逆变换到空域，即对上式进行傅立叶逆变化，得：hxy(,)hxy(,)hxy(,)(2.5)Iir再对式(2.5)两边同时取指数，可得：Ixy(,)ehxyIr(,)ehxyi(,)ehxy(,)(2.6)09 基于特征点的目标跟踪算法研究则最终得到的图像I0(x,y)即为对图像I(x,y)同态滤波后的图像。通过上面分析可知，滤波过程中采用的是通过对高通滤波器进行修改得到与其相对应的同态滤波器。常选用的同态滤波器是巴特沃斯型同态滤波器。其滤波函数H(u,v)为：1Huv(,)(RR)R(2.7)hl2nlD01cDuv(,)式(2.7)中，Rh代表滤波器的高频增益，R1代表滤波器的低频增益。D0=D(0,0)，即表示滤波器的截止频率。c为常数用来控制滤波函数斜面的锐化，它的取值值在Rh和R1之间。可知，当滤波器设计为Rh>1，R1<1时，就能达到压制图像的低频分量，放大图像的高频分量的目的，最终达到减少图像中光照不均匀的影响和锐化边缘或细节的目的。本文测试了同态滤波对特征点提取性能的影响，如图2.2所示，(a)图为未使用同态滤波的FAST特征点提取效果，(b)图为同态滤波后的FAST特征点提取效果，且(b)图显示的是对(a)图使用同态滤波进行光照补偿后的图像。从图2.2和其对应的灰度直方图2.3可以直观的看出，经过光照补偿后的(b)图亮度比(a)图均匀了许多，并且增加了图像的对比度。图2.2中算法提取的特征点用”+”符号标出，(a)图中有些本应是特征点的部分((b)图相应的用圆圈标出)并没有提取到特征点。因为图像中光照不均匀的影响，使得有些应该是特征点的区域的像素之间的对比度不高，所以这些部分提取不到特征点。同时与(b)图相比，(a)图中还存在着错误的特征点提取现象，这些部分在(a)图已用矩形框标出，这也是因为光照不均匀而导致部分像素之间的对比度增加，所以这部分像素被误提取。通过该实验结果分析可知，同态滤波对图像的光照补偿有一定的效果，且增加了特征点算法对光照变化的适应性，这样为后续的特征点稳健的提取打下基础。图2.2同态滤波前后的FAST特征点提取效果10 南京航空航天大学硕士学位论文图2.3同态滤波前后的图像灰度直方图2.3.2自适应阈值的确定原图像经过上一小节的光照强度补偿后，主要减少了图像中光照不均匀的影响，并且相应的对图像的细节进行了一些锐化。下面将对光照强度补偿后的图像采用FAST算法提取特征点。通过2.2节分析，FAST特征点提取算法中，阈值表示所能检测到的特征点与领域像素的最小对比度，也就是能抵抗的噪声的最大容限。阈值的如何选取直接决定了特征点提取的结果。阈[41]值选取的越小，检测到的特征点越多，反之，就越少。FAST特征点提取算法采用了固定阈值来判定是否为特征点，固定阈值虽然计算简单，但不能适应不同图像的特征点提取要求，所以本文首先采用了根据图像的灰度信息自适应设置阈值T的方法对原始灰度图像进行初步特征提取。全局阈值T的选取应能合理的随着图像全局灰度分布的变化而变化，适应不同图像的特征点提取要求。因此本文全局阈值选取方法利用了图像的灰度直方图信息，灰度直方图基本上可以看作是图像中的目标和背景的两个单峰直方图混合构成的。通过图像的灰度值的概率分布密度函数，可以构造出一些目标的阈值函数。对目标阈值函数进行最优估计而获得最佳目标和背景的分界灰度值，由于特征点一般都是图像中背景和目标的分界点，因此最佳分界灰度值即最优阈值。[42]本文具体采用了KSW熵方法来自适应的获得图像的最佳阈值T。KSW熵方法获得全局阈值主要分为三个步骤。首先通过图像的灰度直方图构造图像灰度值的概率分布密度函数，设有阈值t将灰度范围为[0,L-1]的图像划分为目标S1和背景S2两类，S1和S2分别为[0,t]和[t+1,L-1]的像素频率分布。则S1={p0,p1,p2,…,pt}，其中pi为各灰度级出现的频率。然后利用此密度函数结合熵的原理建立目标函数，令pt为：tPptii0(2.8)则S1和S2对应的信息熵H(S1)和H(S2)分别为：11 基于特征点的目标跟踪算法研究tppiiHS()1ln(2.9)i0PPttL1ppiiHS()2ln(2.10)it111PPtt信息熵从平均意义上描述图像的总体特征。它是对图像中灰度值不确定性或无序度的量度，图像信息熵越大，说明图像的某个灰度值出现的不确定性越高，图像灰值度分布越无序。最终根据目标函数获得全局阈值，KSW熵方法采用了著名统计学原理—最大熵原理来获得最终全局阈值。最大熵原理的实质是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是根据现有知识可以作出的唯一不偏不倚的选择，任何其它的选择都意味着需要增加了其它的约束和假设，这些约束和假设根据现在所掌握的信息无法作出。熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随机变量最不确定。则KSW熵方法的本质是在图像各级灰度中寻找最优的阈值t，使得背景熵和目标熵之和H(S)=H(S1)+H(S2)最大。根据上述描述和推论，在图像的灰度级范围内遍历每一个灰度值T，根据式(2.9)和(2.10)计算两部分的熵，令最后得出熵之和最大的对应的灰度级记为Tmax。由于FAST算法中阈值是衡量像素点的灰度级差的标准，因此阈值选取应该与图像灰度级差有关。令熵之和最小的那个灰度级记为Tmin。则最佳阈值T为：TkTT(2.11)maxmin其中k为比例系数。KSW熵方法是通过各灰度级在图像上出现的频率，即直方图来近似估计灰度值的概率分布，包含了图像的全局灰度信息，这样使得阈值可以合理的随着图像灰度分布不同而变化，使得最终特征点提取算法的适应性增强，可以适应不同图像的特征点抽取要求。设光照强度补偿后的图像上某个像素点(x0,y0)，只有当在该象素点的Bresenham圆周上存在n(n=12)个像素点的灰度值都大于I(x0,y0)+T，或者都小于I(x0,y0)-T(其中I(x0,y0)为图像上坐标为(x0,y0)点的图像灰度值，T为全局阈值），则该像素点(x0,y0)为候选特征点，否则该点就不是特征点。2.3.3局部非极大值抑制法经过自适应阈值T的筛选，得到了候选特征点，但是这时得到的候选特征点在图像的一些区域会出现聚集现象，形成多个特征点块。所谓特征点块是由于真实特征点附近像素点的性能和真实特征点的性能相像，所以会把这些点当成特征点检测出来，从而产生了特征块。实际上特征点应该是图像上灰度变化比较剧烈的区域中心，在图像的一个小区域内不可能都是特征点，12 南京航空航天大学硕士学位论文所以必须对候选特征点进一步判断筛选。本文提出了采用局部非极大值抑制法对候选特征点进一步筛选，对于每个候选特征点p，都存在着固定的临界阈值t，即当判断阈值t为临界阈值t时，该候选特征点p周围的像素点满足判定标准的像素点的个数N刚好为12。简而言之，该临界阈值t使候选特征点p处于特征点和非特征点的分界上。经分析可知，对于任一候选特征点p，其临界阈值t越大，该候选点的强度越大，是特征点的可能性也越大。本文通过计算每个候选特征点的临界阈值t，利用t参与局部非极大值抑制。具体步骤：(1)通过迭代和线性插值求出候选特征点pi的临界阈值i，此时候选特征向量包含三种信息(x,y方向坐标和临界阈值i)，即pi(x,y,i)；(2)分别比较pi(x,y,i)与其局部候选特征点p1(xi-1,yi,1)，p2(xi+1,yi,2)，p3(xi,yi-1,3)和p4(xi,yi+1,4)的临界阈值，若1>1,2,3,4则剔除局部候选特征点p1、p2、p3和p4。2.4实验结果及分析2.4.1FAST算法优化前后实验结果分析本文中所有出现的图像实验结果均在CPU为Intel(R)Core(TM)2QuadCPU,1.99GHz，内存为3G的PC机上运行所得。开发环境是采用的是Visualstudio2008(c++)。为了验证本文优化后的算法对不同光照的情况下具有一定的适应能力，实验选取了一组亮度在实验原图的基础上逐渐递增和递减(步长为5%)的图像序列进行实验。其中，图2.4至图2.7是按照本章的方法原理逐渐引入的实验效果。图中算法的特征点提取结果用“+”符号标出。图2.4为原FAST算法提取效果，图2.5为引入同态滤波后的FAST算法提取效果，与图2.4相比，从图2.5中(c)图和(d)图中的烟囱部分可以直接看出经过光照强度补偿后，特征点提取错误的现象明显减少。图2.6在图2.5的基础上，引入了自适应阈值，在图2.5中(e)图和(f)图的特征点提取效果比(a)图(b)图差，仍然存在着明显的提取错误的特征点(房屋的烟囱部分)，说明固定阈值不能满足不同图像的特征点提取要求，在图2.6中随着亮度的变化特征点提取效果更稳定，表明自适应阈值可以适应不同图像的特征点提取需求，增加了特征点提取的稳定性。图2.7在图2.6的基础上，引入了局部非极大值抑制法抑制特征点块，图2.8为图2.6和图2.7中(d)图的放大效果，从图2.8中直观的看出相比于图2.6，图2.7中基本已经不存在特点块的现象，表明局部非极大值抑制法有效的克服了原FAST特征点提取结果中的特征点大量聚集的缺点。13 基于特征点的目标跟踪算法研究图2.4FAST算法提取效果(原方法)图2.5FAST算法提取效果(同态滤波)图2.6FAST算法提取效果(同态滤波和自适应阈值)图2.7FAST算法提取效果(同态滤波、自适应阈值和局部非极大值抑制)14 南京航空航天大学硕士学位论文图2.8亮度增加25%的放大图为了更方便的对优化前后的FAST算法性能分析，定义了两个衡量特征点算法的指标——重复度r和聚集度c。两个指标实验中取同一幅图像以及其变化后图像，并且对这些图像进行特征点提取。设N1为在原图像上得到的特征点数目，N2为在变化后图像上得到的特征点数目。Nr为在变化后图像上得到的特征点与在原图像上得到的特征点相重合的特征点数目，则重复度：Nrr100%(2.12)N2即重复度越大，算法的稳定性越高。设N为图像中得到的特征点数目，Nc为图像中得到的特征点周围聚集超过3个的特征点总数，则聚集度：Ncc100%N(2.13)聚集度是衡量边缘点或者特征块被误检为特征点的一个指标，同时也反应了特征点在图像中的分散程度，聚集度越低，说明算法抑制特征点块的能力越强。本文根据重复度r和聚集度c两个指标定义，对这组光照逐渐变化的图像序列的优化前后的FAST特征点提取效果进行重复度和聚集度计算，并且描绘出曲线，如图2.9所示。图2.9为亮度逐渐变化序列图像中FAST算法优化前后的重复度和聚集度曲线，其中横坐标为在实验原图的基础上的亮度变化率，纵坐标分别为重复度和聚集度。可以发现优化后的FAST算法很好的克服了FAST算法聚集度高即存在大量特征点块的缺点。同时当同一场景的图像的亮度逐渐变化时，优化后的FAST算法的重复度大于FAST算法。则相比于FAST算法，优化后的FAST算法稳定性好，在不同光照情况下具有较好的适应性。15 基于特征点的目标跟踪算法研究重复度曲线聚集度曲线图2.9亮度变化序列图像中算法的性能指标对比从以上的实验分析可以发现相比于优化前的FAST算法，优化后的FAST算法稳定性较好，不易产生特征点块并且具有在不同光照情况下适应能力强的特点。2.4.2不同特征点提取算法性能对比SIFT特征点提取算法以良好的稳定性和不变性著称，由于该算法是在二维平面图像空间和DOG尺度空间中同时检测局部极值作为特征点，是一种基于尺度不变的特征点提取算法，因此特征点对尺度变化、旋转、光照变化具有一定的适应性。算法经提出后，引起强烈的反响。为了进一步验证优化FAST算法的对光照变化的适应性，本文分别对SIFT算法、优化前的FAST算法和优化后的FAST算法的特征点提取效果进行对比。三种算法的提取效果如图2.10至2.12所示，SIFT算法速度较慢，并且在(b)图和(c)图明显的存在特征点提取错误的现象，如：屋顶、烟囱和天空部分。特别是天空部分，图中已用蓝色的框标志出明显的错误提取。FAST算法提取的速度虽然很快，但很容易形成特征点聚集的现象。如图2.11中的(b)图和(c)图的烟囱、屋檐、屋角部分明显的出现错误的特征点聚集现象，图中已用矩形框标志出来。优化后的FAST算法有效的抑制了错误的特征点聚集现象(如烟囱、屋檐、屋角部分)，而且在原本特征点分布密集的部分也能实现较多的特征点提取(如房檐部分)，当同一场景图像的亮度不均匀时，优化后的FAST算法的适应性较强，稳定性较高。16 南京航空航天大学硕士学位论文图2.10SIFT特征点提取算法实验效果图2.11FAST特征点提取算法实验效果图2.12优化FAST特征点提取算法实验效果根据上一节定义的两个衡量特征点的指标，即重复度和聚集度，对图2.10至图2.12中三种不同算法的提取效果进行计算，得到的实验数据如表2.1所示。表2.1不同特征点提取算法性能数据重复度r特征点个数聚集度c提取时间(ms)特征点算法(b)(c)(a)(b)(c)(a)(b)(c)(a)(b)(c)SIFT19.7%12.6%14815919312.8%6.9%7.1%219218219FAST36.8%29.7%21644035234.5%54.5%46.7%1.81.91.9优化FAST59.6%58.4%841231013.1%11.4%9.8%4.54.64.617 基于特征点的目标跟踪算法研究通过表2.1和实验效果图中可以直观的看出优化后的FAST算法具有重复度高、聚集度低的特点。从表2.1的算法耗时数据可以看出，FAST算法提取速度非常快，由于本文针对FAST算法的一些缺点进行优化，因此增加了算法的一些复杂度和耗时量，但是相比于SIFT算法，优化后FAST算法的特征提取算法还是很快。为了进一步验证FSAT算法的提取速度非常快的特点，本文又对一些特征提取算子的时耗做了些实验，采用了256256大小的图像，多次测量得到不同大小图像的特征点耗时数据如表2.2所示，从表中的数据可以看出优化的FAST算法继续继承了FAST算法提取速度非常快的优点，满足实时系统的需求。表2.2不同特征点提取算法的耗时量特征点算法Harris算法Susan算法SIFT算法SURF算法优化FAST算耗时量算法(ms)66.374.22191564.6法从以上的实验分析可以发现相比于优化前的FAST算法，优化后的FAST算法稳定性较好，不易产生特征点块并且对不同光照情况下有一定的适应性，同时相比于其他算法，算法的提取速度仍然较快，适应实时系统的需求。因此通过对FAST算法的优化，使原来算法的综合性能得到了一定的改善。18 南京航空航天大学硕士学位论文第三章基于FAST特征点的目标跟踪算法3.1引言基于特征点的目标跟踪算法主要分为特征点提取和特征点匹配两个部分，前一章对实时性很好的FAST特征点提取算法进行分析，并针对其一些缺点进行了优化。本章则对特征跟踪过程中的匹配阶段进行分析。匹配技术如何满足实时系统的需求同时又能保证匹配后得到特征点具有较好的稳定性，是本章研究的关键。3.2特征点的匹配技术3.2.1特征点的匹配技术概述在基于特征点的目标跟踪系统中，特征点的匹配就是寻找两幅图像的特征点之间某种映射关系或者特征点坐标之间的某种变换矩阵。目前，特征点匹配技术可以大概分为两类：一类为基于穷尽搜索的特征点匹配技术，该技术是较为经典的匹配技术，即分别获取两幅图像的特征点以及特征描述子，根据一定的搜素策略对这些特征点和描述符进行计算，最终获得最优极值点即为匹配结果，典型的如SIFT和SURF特征点的匹配就是采用的穷尽搜索的特征点匹配策略。这种基于穷尽搜索的特征的匹配准则的计算量很大，不适合实时目标跟踪系统。另外一类匹配技术是基于最优估计的特征点匹配技术，这种匹配技术只需要获取参考帧图像的特征点信息，并利用它在当前帧上的一个搜索范围内寻找其最优值，估计匹配点的最优位置，这种匹配准则的最大的优点是只需要提取参考帧的特征点，节约了一半的特征点提取的时间。其中基于最优估计的特征点匹配技术最经典的算法是KLT光流匹配算法，但是传统的KLT光流匹配算法是基于运动窗口内小而连贯的运动假设，对于大而不连贯的运动的情况下跟踪效果不好。为了解决这个问题，本文采用了金字塔下的KLT光流匹配算法，对获得的特征点进行匹配。3.2.2KLT光流匹配技术[43][44]KLT光流匹配技术由LucasKanade等人提出，是一种典型的利用帧间连续的特征点信息并且采用最优估计策略实现帧间特征点的匹配。其中该匹配技术采用了图像灰度差的平方和(SumofsquaredintensityDifferences，SSD)作为特征点的匹配准则。该匹配技术由于原理相对较简单、耗时量少，被广泛的应用于实时目标跟踪系统中。下面对该匹配技术的算法原理简单的介绍，首先，该算法基于以下三个假设：(1)亮度恒定，即目标像素被逐帧跟踪时其亮度不随时间变化；(2)空间一致，即目标邻近的点在一场景中具有相似的运动，保持相邻；19 基于特征点的目标跟踪算法研究(3)目标运动是连续的“小运动”，即目标在帧间的运动距离比较小。该算法定义了一种不相似准则，在仿射变化模式下通过这种准则来量化序列图像相邻两帧的差值，将所得的差值用牛顿迭代法进行迭代来跟踪选好的特征点。与传统的匹配技术相比，该匹配算法不需要分别全局提取参考帧和当前帧的特征点，只需要提取参考帧的特征点，对其采用最优估计策略实现参考帧上的特征点匹配，这样大大减少了匹配过程中的搜索范围，降低了匹配算法的耗时量。在视频图像序列中，用一个平移模型来描述特征窗口内(设特征窗口为W)的像素点变化，则在特征窗口W内，t时刻对应的图像序列表示为I(x,y,t)，t+时刻对应的图像序列表示为I(x’,y’,t+),根据第一条目标物的亮度不随时间变化的假设，则它们的位置满足式(3.1)：''II(,,+)=(,,+)xytxyt(3.1)根据第二条空间邻近点相似的假设，即特征窗口W内所有点的运动偏移量一致，则在I(x,y,t+)的每个像素点，都可以由I(x,y,t)中特征窗口W的像素点平移d=(dx,dy)得到。设两幅图像分别为I和J，该算法的核心是寻找使相邻两帧在特征窗口W上SSD(用(d)表示）最小化的d，则(d)表示为：2()d(,ddxy)W((,)IxyJ(xdydx,y))(3.2)式(3.2)写成积分的形式为：2[(JXd)IX()]()XXdW(3.3)(3.2)式中，W为视频序列中既定的特征窗口，(X)是不同像素点的加权函数。(X)可以是高斯分布函数，这样可以强调从窗口的中心区域。为了最小化，则应对式(3.3)求导，使得极值点导数为零。即，JX()d2[(JXd)IX()]()XdX(3.4)ddW对式(3.4)中的J(X+d)进行泰勒级数展开，根据第三条假设目标运动是连续的“小运动”，即d要比X小的多，因此可以去掉高次项，只保留前三项得：JJJX(d)JX()d()Xd()Xxyxy(3.5)将式(3.5)代入式(3.4)得：JJJX()d2[()JXd()Xd()XIX()]()XdXxydWxyd(3.6)T=2[()JXIX()gd]()()gXXdXW20 南京航空航天大学硕士学位论文其中，JJTg[d(),Xd()]X(3.7)xyxy则令式(3.6)为零，得到：T[()JXIX()]()()gXXdX=-gXdg()X()()XdXWW=-g()XgTX()()XdXdW(3.8)上式等式可以写成Zd=e的形式，则：TZg()Xg()()XXXdW(3.9)gxe[()IXJX()]()XdXWgy(3.10)为了使d能得到解，要求矩阵Z为可逆矩阵，一般情况下特征点满足这样的特点。这样，将参考帧中的特征点代入式Zd=e进行牛顿迭代，直到迭代满足一定的精度就可以找到当前帧的最优匹配特征点，求得最终解，实现特征点的跟踪。g1xddZ[()IXJX()]X()dX(3.11)kk1Wgy式(3.11)中，d表示特征窗口中心的平移，dk表示第k次牛顿迭代法计算得到的d的值。迭代计算d需要一个初始估计值d0。Lucas使用了最简单的估计d0=0。3.2.3金字塔的KLT光流匹配技术通过上面对KLT光流匹配技术分析可知，该技术是建立在小而连贯的运动的假设基础上。但在大多数情况下，视频中普遍存在大而不连贯的运动情况，这样KLT光流匹配技术在这种情况下跟踪效果不佳。为了解决该问题，通常采用大窗口来捕获大的运动，但是这种情况下很可能会不符合连贯运动的假设，这样会导致KLT光流匹配算法原理错误。Lucas通过图像金字塔[45]来解决此问题。设两幅图像分别为I和J，则金字塔的KLT光流匹配技术的步骤为：(1)分别建立图像I和J的金字塔；(2)分别从图像金字塔的顶层进行光流匹配技术，得到运动结果；(3)将得到的运动结果作为下一层金字塔的起始点，重复这个过程，直到金字塔的最底端。首先在分辨率较小的图片上进行匹配运算，确定粗匹配的位置，此时搜索速度很快，但匹配精度较差。下一次的匹配运算只需要在上一次匹配运算产生的粗匹配位置附近进行搜索即可，依此类推，直到在最高分辨率的即金字塔的底端的图像I和J上找到最佳匹配位置为止。这种21 基于特征点的目标跟踪算法研究由粗到精的匹配方式解决了当运动大而不连贯的问题，因为每一次从上一层图像的粗匹配点做为起始点进行搜索，这样就可以认为每一层的匹配图像的运动为连贯的运动。简而言之，该方法是逐渐逼近真实匹配点的过程。3.3前后向匹配法去除不稳定特征点在基于特征点的目标跟踪过程中，相邻两帧根据以上算法经过匹配后，得到的特征点可能有些分布在目标区域上，也可能出现部分特征点分布在运动目标以外的区域。即在匹配过程中，会产生不稳定的特征点，若这些特征点继续代入后续跟踪，很容易造成目标定位不准确和跟踪的不稳定。因此在跟踪过程中，剔除不稳定点是非常有必要的。以上分析可知，通过对前一时刻的图像帧中的目标特征点进行金字塔的KLT光流匹配技术得到该时刻的图像帧中运动目标特征点，并令其为前向匹配。根据得到的该时刻的图像帧中运动目标特征点，经过匹配技术也能反向推导得出前一时刻的图像帧中的目标特征点，并令其为后向匹配。跟踪过程中的稳定特征点应该是经过前向匹配和后向匹配后，特征点的位置仍能在原始的位置的附近。根据这一思想，本文提出了前后向匹配去除不稳定点的方法，设当前时刻的图像帧It，前一时刻的图像帧为It-1，前一时刻图像帧中的目标某一特征点的坐标为(xt-1,yt-1)，则该方法的具体步骤为：(1)通过金字塔的KLT光流匹配技术得到It中(xt-1,yt-1)对应的位置(xt,yt)，即前向匹配；(2)通过金字塔的KLT光流匹配技术对It中(xt,yt)倒推，得到其在It-1中的位置(x’t-1,y’t-1)，即后向匹配；(3)计算前向匹配和后向匹配的误差距离''|(dx,y)dx(,y)|；t1t1t1t1(4)当(xt,yt)前后向轨迹的误差距离
