资源描述：
《基于图像矩的视觉伺服控制方法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
申请上海交通大学博士学位论文基于图像矩的视觉伺服控制方法的研究摘要视觉伺服是机器视觉研究中的重要内容之一。它在国防、航天、和工业自动化等领域中具有非常重要的应用意义，如自动导航、目标跟踪、自动监控、机器人手一眼系统等都或多或少地与视觉伺服相关。尤其在机器人手一眼系统中，对静止或移动目标进行实时视觉伺服研究可解决移动机器人的自动避障、机器人对环境自适应、及在未知环境中对机器人进行控制等问题。论文研究一种新的基于图像的视觉伺服(IBVS)控制方法。传统的IBVS方法需要根据图像特征求取图像雅可比矩阵(即，反映三维空间中摄像机运动与二维平面上图像特征运动之间映射关系的矩阵)。多数IBVS系统采用图像的局部特征，如角点、线段、边缘等，以简化图像雅可比阵。然而，局部图像特征的可靠抽取在很大程度上依赖于物体形状及其周围环境。此外，采用局部图像特征必须进行图像特征匹配。全局图像特征由于需要考虑图像上所有数据，因此对图像噪声有很强的鲁棒性。并且，当图像上只有一个具明显几何形状的物体时，采用全局图像特征无需进行图像特征匹配。论文基于二值目标图像的零阶和一阶矩特征(一种比较简单的全局图像特征)，研究静止目标和三维平动目标的视觉伺服问题。其中，运动目标的视觉伺服问题又称为视觉跟踪问题。论文首先限定以下条件：①目标为一始终垂直于摄像机光轴的平面刚体；②摄像机只能在三维笛卡儿空间中平动。然后，根据摄像机透视投影公式，论文推导出图像运动仿射模型。基于限定条件和豳像运动模型，论文研究了目标深度与二值目标图像的零阶图像矩之间的数学关系。接着，在此数学关系的基础上，论文提出以二值目标图像的零阶和一阶图像矩作为视觉伺服系统的图像特征。最后，论文提出一种新的基于图像的视觉伺服控制方法。该方法的基本思想是，将深度轴上的摄像机平动速度(疋)从擐像机线速度(v=阮，耳，疋r)中分离出来，对它进行单独控制。在研究视觉伺服控制方法时，论文先考虑目标静止的情况，提出静止目标视觉伺服控制算法。然后就如何利用模糊控制和PI控制算法改进静止目标视觉伺服控制算法．使之用于三维平动目标的跟踪，论文展开深入研究。论文所提出的视觉伺服方法完全基于图像矩，并且无需估算目标深度。因此，该方法对图像噪声不敏感，简单实用，实时性较强。论文的创新成果主要包括： 摘要1根据图像运动模型推导出引理】(即，当目标为一始终垂直于摄像机光轴的平面刚体时，目标深度与其二值图像的零阶图像矩的开方成反比)，并以实验证明之。基于引理1，选择二值目标图像的零阶和一阶图像矩作为视觉伺服系统的图像特征，并提出一种迭代计算零阶和一阶图像矩的快速算法。2，论文提出新的基于图像豹视觉伺服控制策略，并基于此策略设计出视觉伺服控制结构和基于图像矩的静止目标视觉伺服算法。为进行系统仿真，论文还研究了视觉伺服系统中受控对象的数学模型．并用实验加以验证。与传统的IBVS控制方法不同，我们的IBVS控制方法用两个控制器来实现视觉伺服：①目标深度控制器．基于与零阶图像矩相关的系统误差控制目标深度逐渐趋于理想目标深度：②图像特征点位置控制器，基于目标中心的投影位置误差(由目标图像的零阶和一阶图像矩估算)，在Tz己知的情况下，控制目标中心投影位置逐步逼近图像中央。根据引理1，论文以二值目标图像的零阶图像矩的开方(Moo)作为反映目标深度的图像特征，并基于此图像特征的偏差(即(√(肘0)d一√^矿00))，设计简单的P控制律作为目标深度控制算法。仿真结果表明，当蟊标静止时，该算法能有效地控制目标深度收敛于理想目标深度。同时，为使目标逐渐成像于图像中央，论文基于图像雅可比阵和Lyapunov函数设计图像特征点位置控制算法。仿真实验表明，当目标静止时，我们的视觉伺服方法完全能满足视觉伺服要求，对摄像机的焦距和比例阕子误差有较强的鲁棒性。3．对于三维平动目标的视觉跟踪，论文提出将跟踪前的初始状态分为四种情况，并针对每种情况设计合适的PI控制算法。此外，论文还提出了初始状态的判别方法。三维平动目标视觉跟踪研究实际上是静止目标视觉伺服研究的延续，两者的前提条件和控制要求均相同，只要将视觉伺服算法改进为视觉跟踪控制算法，原有的视觉伺服系统就可成为视觉跟踪系统。无论是对于目标深度控制算法还是对于图像特征点位置控制算法，其改进主要体现在两方面：①加入积分控制和限幅控制，形成受限“P+PI”控制算法或受限Pl控制算法：②将跟踪前的初始状态分为A、B、C、D四种情况，根据初始状态的情况以决定是否引入模糊控制，即根据初始状态的不网情况分别采用周定参数P1控制律和参数模糊自调节PI控制律。仿真结果表明论文提出的视觉跟踪控制算法简单可行，当目标在三维笛卡儿空间平动时．该算法可将目标深度误差控制在1毫米以内，特征点位置误差控制在1个像素以内，从而满足视觉跟踪要求。关键词：机器视觉，视觉伺服，图像矩，基于图像的视觉伺服，视觉跟踪，模糊控制 AbstraclTheResearchontheControlMethodofVisualServoingBasedORImageMomentsAbstractVisualservoingisanimportantresearchsubjectinthefieldofcomputervisionItiswidelyusedintheapplicationsofnationaldefence，aviation，industryautomation．Forexample，automaticnavigation，targettracking,automaticsurveillance，robot。seye—in·handsystemallrelatetovisualservoingmoreorless．Especiallyinrobot’seye-in—handsystem，itissignificanttostudyonrealtimevisualservoingwithrespecttoastaticormovingobject．TheresearchachievementsofvisualservoingCallhelptoresolveproblemsinrobotresearch，suchasautomaticobstacleavoiding，automaticadaptation，androbotcontrollinginunknownenvironment,andetc．Inthepaper,anewimage-basedvisualservoing(IBVS)methodisstudied．InatraditionalIBVSmethod，animageJacobianmatrix(themappingmatrixbetweenimagevelocitiesandthevelocitiesinthecamera’sworkspace)needstobefoundaccordingtothechosenfeaturesInmostIBVSsystems，localimagefeatures，suchascomerpoints，lines，edgesandetc．，areselectedtosimplifytheimageJacobianmatrix．But，theextractionoflocalimagefeatureslargelydependsontheobjectshapeandthecircumstance．Inaddition，imageregis仃ationisrequiredwhenlocalimagefeaturesareused．Globalimagefeaturesarerobusttoimagenoisesbecausetheyarecomputedfromalldataofanimage．Furthermore，whenglobalimagefeaturesareused，noimageregistrationwillbeneededifthereisonlyonevisibleobjectintheimage．Imagemomentsarethesimpleglobalimagefeature．Inthepaper,westudyanewvisualservoingmethodbasedon0．and1-ordermomentsofbinadzedtargetimages．Itshouldbepointedthatourresearchofthevisualservoingisontheassumptionsofthefollowings：①Thetargetisarigidplanarsurfacealwaysperpendiculartotheopticaxisofthecamera：②IntheCartesianspace，cameramotionandtargetmotionarebothtranslation．Inthepaper,theaffinemodeloftheimagemotionisfirstintroduced．Then，fromtheimage 申请一h海交通火学博士学位论文motionmodelandtheaboveassumptions，Lemma1describingthemathematicreimionshipbetweendepthandO-thorderimagemomentsofbinaryimagesisdeduced．Later,0·and1-orderimagemomentsofbinarytargetimagesareselectedasimagefeatures，andafastextractionalgorithmofimagefeatureisproposed．Atlast，anewapproachtoimage-basedvisualservoingcontrolispresented．Thebasicidealistodecouplethecameratranslationalmotiononthedepthaxis(疋)fromtheotherdegreesoffreedom，andderiveaseparatecontrollerforL．Basedontheideal，wedesignanewvisualservoingcontrolschemeforastaticobject．Then．weaddfuzzyandPIcontroltothevisualservoingcontrolalgorithminordertoadaptthevisualservoingsystemtothecaseofanobjectwithtranslationalmotion．Ourvisualservoingapproachistotallybasedonimagemoments，andhasnoneedsofdepthestimation．So，ComparingwiththetraditionalIBVSmethods，theapproachpresentedinthepaperismorerobusttoimagenoise，simplerandfaster．Themaincontributionsofthepaperaresummarizedasfollows：1tFromtheimagemotionmodel，Lemma1(thatis，depthratioisininverseproportiontothesquarerootofthe0-orderimagemomentofthebinarytargetimage)isdeduced，andprovedbyexperiments．Then，the0‘and1-orderimagemomentsofthebinarytargetimageareselectedasimagefeatures，andafastextractionalgorithmofthe0-and1-orderimagemomentsisproposed．2．Anewvisualservoingcontrolschemeisproposed．Accordingtothescheme，Wedesignthevisualservoingcontrolstructureandcontrolalgorithmforastaticobject．Besides，themathematicmodelofthecontrolledobjectinthevisualservoingsystemisstudied，andthenprovedbyexperiments．Inourmethod，therearetwocontrollerswhichare：@depthcontroller,whichcontrolstargetdepthaSymptoticallyconvergenttoitsdesiredvalueonthebaSisoftheerrorrelatingtothe0-orderimagemoments；(室)positioncontrolleroftheimagefeaturepoint，whichselecttheprojectedpointofthetargetcentroidasitsfeaturepoinKandcontrolsthepositionofthefeaturepointconvergenttothecenterofimagewithknown疋．Accordingtolemma1，weselectthesquarerootofthe0-orderimagemomentofthebinarytargetimage，i-e√M⋯astheimagefeaturetoreflectthetargetdepth，anddesignt}lePcontrollawbasedontheelTOrof(√面：i一再i)∞depthcontrollaw．Simulati。nresuhsSh。wthalthesimplePcontr01tawcarlcontrolthetargetdepthasymptoticallyconvergenttothedesireddepthinthecaseofa Abstractstatictarget．Inordertokeepthetargetinthecenterofimageplane，WederivethepositioncontrollawoftheimagefeaturepointfromtheimageJacobianmatrixandaLyapunovfunction．Simulationresultsindicatethatinthecaseofastatictarget．ourvisualservoingcontrolalgorithmperformanceswell，andstronglyrobusttOtheerrorsofcamera‘Sfocusandmagniscales．3．Forvisualtrackingofa3-Dtranslationallymovingtarget，Wedividetheinitialconditionintofourkinds，anddesignanappropriatePIcontrolalgorithmforeachkindofinitialconditions．Inaddition，weproposethediscriminanceofinitialconditions．Inthepaper,theassumptionandtheobjectivesofthevisualtrackingstudyisthesameastheonesofthevisualservoingstudy．So．IfthevisualservoingcontrolalgorithmCanbemodifiedtoadapttovisualtrackingofatranslationallymovingtarget，thevisualservoingsystemwillbechangedtovisualtrackingsystem．Eitherfordepthcontrollaworthepositionlawcontroloftheimagefeaturepoint，themodificationsaremainlyintwoaspects：①thelimited”P+”controllaworthelimitedP1controllawisdesignedbasedonthesystemerrors；②theinitialconditionisdividedintofourkindsoftheconditionA，B，C，andD，andwhetherthefuzzytunerisemployeddependsonwhatthekindoftheconditionis．Thatis，fuzzyself-toningPIcontrollaworfuzzygain-tuningPIcontrollawisemployedintheconditionofAorB，andfixedPIcontrollawisusedintheconditionofCorD．Simulationresultsshowthatunderthecontrolofthevisualtrackingcontrolalgorithmproposedinthepaper,thevisualtrackingsystemperformswellinthatthedeptherrorcarlbecontrolledwithinlmm，andtheerroroftheimagefeaturepoint’Spositionbewithin1plxel，inthecaseofatargetwith3-Dtranslationalmotion．Keywords：Computervision，visualservoing，imagemoments，image-basedvisualservoing，visualtracking，fuzzycontr01 上海交通大学学位论文答辩决议书申请者沈晓晶‘所在学科(专业)控制理论与控制工程论文题目基于图像矩的视觉伺服控制方法的研究答辩日期2005-05—27答辩地点新上院300号答辩委员会成员担任职务姓名职称l所在工作单位备注签名主席施鹏飞教授|上海交通大学无红∥舞委员吴智铭教授‘|上海交通大学无攒餐．t‘．委员费敏锐教授弛海夭学无委员’林家俊教授i华东理工大学无嗽靳曩委员，李德敏教授i东华大学无焉孤”基于图像的视觉伺服(IBVS)控制在国防、航天、和工业自动化等领域有广泛的应用。该论文主要研究如何将图像矩用于视觉伺服控制。选题有理论意义和实用价值。论文的主要创新之处在于：采用二值目标图像的零阶矩作为图像特征；在算法设计上，对较均一的静止目标提出视觉伺服控制算法．并结合模糊控制和PI控制算法对其进行改进，使之用于三维平动目标的视觉跟踪，取得了较好的计算仿真结果。论文条理清晰，论证较严谨，反映作者具有坚实宽广的理论基础和系统深入的专业知识，具有独立的科研工作能力。答辩过程中能正确回答所提出的问压。经答辩委员会无记名投票．一致通过沈晓晶同学的博士学位论文答辩，建议授予工学博士学位。表决结果一谘f争f矿7L／L—，，7答辩委员会娩，i形妒j，正 上海交通大学学位论文原创性声明本人郑重声明：所星交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：潞魄晶日期：矽眸r月叼日 上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电z版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密口，在一年解密后适用本授权书。本学位论文属于，不保密d(请在以上方框内打“4”)学位论文作者签名：掘晚局指导教师签名：c聪局日期：≯幢睥，月刁日日期：协柞F月3。日 申请一卜海交通大学博士学位论文1．1．引言第一章绪论视觉伺服是机器视觉研究中的重要内容之一。机器视觉始于20世纪50年代；60年代，Roberts开创了以理解三维场景为目的的三维机器视觉的研究；70年代后期，DavidMarr教授提出视觉计算理论，该理论在80年代成为机器视觉研究领域中重要的理论框架。按照Marr的理论㈣，视觉系统分成三个层次：计算理论层次，表示和算法层次，硬件实现层次。计算理论层次要回答视觉系统的输入和输出是什么，如何由输入求出输出，即建立输入输出之间的关系和约束。表示和算法层次要进一步回答如何表示输入和输出信息，如何实现计算理论所对应的功能算法，最后一层是解决硬件实现的问题。从信息处理的观点来看，至关重要的是计算理论层次。这是因为构成知觉的计算本质，取决于解决计算问题本身，而不取决于用于解决计算问题的软、硬件。视觉过程划分为三个阶段：图像一基元图一2，5维图一3维模型表示。第一阶段指抽取输入图像中诸如角点、边缘、纹理、线条、边界等基本特征．组成基元图；第二阶段指在以观测者为中心的坐标系中，根据输入图像和基元图恢复场景可见部分的深度、法线方向、轮廓等，这些信息包含深度信息，但不是真正的物体三维表示，故称2．5维图；第三阶段指在以物体为中心的坐标系中，由输入图像、基元图和2．5维囤来恢复、表示和识别三维物体。对计算机而言，要识别和理解三维场景是件困难的事。它主要体现在以下几个方面㈣：(】)图像多义性。三维场景投影到二维平面上后，深度和不可见部分的信息丢失，会出现不同形状的物体产生相同的图像。而在不同视角。F获取同一物体的图像也会有很大差异。(2)环境因素的影响。场景中的诸多冈素，如照明、物体形状和表面材质、摄像机和空间关系变化都对生成的图像有影响。(3)数据量大。如分辨率为320×240的一幅灰度图像的数据量为76．8K。而耍跟踪物体常需要处理图像序列以获行物体的运动信息，数据量大，不易实现快速运算。 笫一章绪论为解决机器的视觉问题，科研人员不断寻求新的方法和途径。现在人们越来越重视对知识的应用。让视觉系统使用诸如特征模型、成像模型、物体模型【261等知识，使系统具有更高的适应性和鲁棒性。1．2．视觉伺服系统从提高机器人对环境的适应性及快速反映能力的角度出发，近几年来许多研究者探索将机器视觉作为反馈控制源参与伺服控制形成视觉伺服反馈控制系统，即视觉伺服控制系统。构建视觉伺服控制系统需要涉及图像处理、机器人动力学和运动学、控制理论、实时计算等各方面的知识。1．2．1．视觉伺服系统分类视觉伺服系统有多种分类方法㈣：(1)根据误差控制信号类型，机器人视觉伺服可分为基于位置的视觉伺服系统和基于图像的视觉伺服系统。在前者中，视觉信息被解释为相对于一个基坐标系或者世界坐标系的三维笛卡尔坐标。而在后者中，视觉信息则是被定义在二维的图像平面的图像特征。(2)根据视觉系统相对于机器人系统的位置，可分为末端开环和末端闭环视觉伺服系统。末端开环系统，其视觉系统只能观测到目标。末端闭环系统，其视觉系统可同时观测到目标和机械手末端。(3)根据视觉系统与机器人系统的工作时间顺序，可分为动态的视觉伺服系统和静态的视觉伺服系统。前者的视觉系统与机器入系统是并行工作的，后者的视觉系统与机器人是串行工作。(4)根据视觉信息是否用于直接控制关节角，可分为动态的lookandmove控制系统和直接视觉伺服系统。在前者中，视觉控制器向关节控制器输入机器人各关节的位置期望，关节控制器控制机械手运动。在后者中，视觉伺服控制器直接控制机械手运动。(5)根据任务，视觉伺服系统可分为视觉定位、视觉抓取、和视觉跟踪等系统。2 申请匕海交通大学博．【：学位论文1．2．2．视觉伺服方法视觉伺服系统的控制策略主要基于以F两个问题：(1)视觉控制器的输入是以三维笛卡儿坐标表示，还是以二维图像坐标表示?(2)系统是否采用分层控制结构?即，系统的视觉控制器是为执行控制器提供输入量，还是由视觉控制器直接控制执行机构运动。根据问题(1)，视觉伺服方法被分成两类：基于位置的视觉伺服(position-basedvisualservoing，又称3D视觉伺服(3Dvisualservoing))，和基于图像的视觉伺服(image-basevisualservoing，叉称2D视觉伺服(2Dvisualservoing))。根据问题(2)，视觉伺服方法被分成：look-and·move控制方法和直接视觉伺服(directvisualservoing)。传统上视觉伺服方法按照问题(1)分类f”I。基于位置的视觉伺服方法在实际运用中比较方便，但它也存在着缺点：①对成像系统而言，它是一种开环控制方法，它依赖于摄像头及机械手的标定精度并对标定参数误差敏感，有时还依赖于目标模型的正确性：②对目标图像没有任何控制，意味着在跟踪过程中目标可能逃离摄像头的视觉范围。而基于图像的视觉伺服方法，由于其视觉控制器的输入是二维图像平面中的图像特征偏差信息，因此对成像系统而言，这是一种闭环控制方法，这种视觉伺服方法对摄像机模型误差、目标模型误差、和执行机构的校准误差具有较强的鲁棒性吼在基于图像的视觉伺服方法中，求取图像雅可比矩阵是其视觉控制器设计的关键，而在目标深度未知的情况下，实时求取图像雅可比矩阵通常比较困难。针对以上两类传统视觉伺服方法存在的缺点，近年来有学者提出2．1／2一D视觉伺服控制方法。在2-l，2一D视觉伺服方法中，视觉控制器的输入既含有三维视觉信息，也含有二维视觉信息。该方法既无需目标模型也无需对摄像头和执行机构参数进行精确标定2“，就能控制摄像头进行稳定跟踪。但是它容易受图像噪声干扰。需要指出的是，对2．1／2一D视觉伺服方式的研究还刚刚起步，目前只能跟踪简单图像。如何将2．1，2一D视觉伺服控制系统应用于对真实物体和复杂图像的跟踪，以及如何提高系统对图像噪声的鲁棒性还有待进一步研究。1．2．2．1．基于位置的视觉伺服方法在基于位置的视觉伺服系统中。抽取的图像特征被用来对周围环境进行三维重建或计算环境中目标的位置和运动，随后三维任务空间中的控制误差被计算出来并输入至视觉控制3 第一章绪论器，视觉控制器利用现有的路径规划技术设计出摄像机在任务空间中的运动轨迹。因此，基于位置的视觉伺服方法的关键在于如何解决三维重建和路径规划问题。在基于位置的视觉伺服方法中，控制系统的输入和反馈鼍均以三维笛卡尔坐标表示l”j。根据是否采用分层控制，基于位置的视觉伺服控制方法义分成：基于能置的look．and．move控制和基于位置的directvisualservoing控制。在基于位置的look．and．move控制中：控制器、执行机构、和执行传感器形成控制内环以稳定执行机构的运动；视觉控制器为外环控制器，用来计算执行机构应具有的速度或位置增量。在基于位置的directvisualservoing控制中，执行机构的控制量由视觉控制器直接计算出。基于位置的视觉伺服方法控制结构如图l—l所示；图中，x+表示目标在场景中的三维位置期望，x表示在当前采样时刻目标的三维位置估算值。(a)基于位置的look-and-move控制结构(a)PosRion-basedIook-and·movecoatfolStlllCtUlo(b)基于位置的directvisualservoing控制结构(b)Positon·baseddireclvisualservoingcontrolstructure图l-1．基于位置的视觉伺服控制结构Fig1·I．Position-basedvisionservoingcontrolstracture目前，大多数基于位置的视觉伺服控制采用分层控制，其原因如下：①目前大多数视觉伺服控制系统采用机械手控制摄像头运动，视觉系统较低的采样速率使得对机械手末端的控制成为复杂的的非线性动态控制问题。②多数机器人系统中含有能够接受以笛卡尔坐标表示的三维位置增量或三维速度的对外接口。(§)look-and．move控制方式将机器人运动学上的奇4 申请卜海交通人学博{1学位论丘异点问题与视觉控制分开，使得机械手可被看作理想笛卡尔运动设备。视觉伺服的一项典型运用是机器人手．眼系统。在手·眼系统中，首先必须确定机械手末端坐标系与所设定的固定坐标系、摄像头坐标系与机械手末端坐标系之间的关系．然后根据目标图像来控制摄像机与运动目标间的相对位置。由于目标与摄像机间的相对位置是由机械手末端坐标与固定坐标系间的己知关系矩阵T间接获得，因此如果矩阵T存在误差，则机械手末端的位置估计将出现误差，并且这～误差不可能被系统观察到。冈此，当这样的手-眼系统运用于某些场合，如，抓取或跟踪物体时，将会失败。但是如果系统能在观察到目标的同时，也能观察到机械手末端所处的位置，则上述误差将有可能得到修正㈣m1。对利用基于位置的视觉伺服控制方法进行视觉跟踪的研究已呈现出诸多成果。例如，Burrll7]，Corke、Paul和WohnI”】等人采用固定于机械臂未端的单摄像机(己校准)，研究了对刚体的二维运动进行视觉跟踪的问题：Davis[19】、G．Verghese[20】等人则探讨在运动目标几何模型可近似为多面体的情况下，对目标的三维运动进行视觉跟踪的问题；Peter．KAllen等人研制出能实时跟踪并抓取移动物体的双目机器人手．眼系统；Papantkolopoulost9】等人研究运动物体速度未知的情况下，在二维空间内(假设深度已知)实时跟踪非几何形体运动目标的方法，他提出采用光流平方差和(SSD，SHill—of—squaredopticalflow)估计离散位移向量。1．2．2．2．基于图像的视觉伺服方法在基于图像的视觉伺服控制方法中，由于控制系统的给定和反馈都是从目标图像中抽取的目标图像特征，因此该方法对摄像机和目标的模型误差，以及机械臂的校准误差都有较强的鲁棒性。基于图像的视觉伺服方法也有两类：look-and．move控制方法和directvisualservoing方法。基于图像的视觉伺服方法控制结构如图1-2所示，图中的Ft和F分别表示从目标的理想图像和当前采样图像中抽取出的理想图像特征向量和当前图像特征向量。在基于图像的视觉伺服方法中，控制系统的误差量郇)等于F*-F(见图1-2)。当t>‘N时，若k(，)f<￡，则认为视觉伺服系统在tN时刻满足控制要求。由于控制系统的误差量e(t)定义在二维图像空间中，而系统的输出量是定义在三维空间中的摄像头运动参数，因此设计基于图像的视觉伺服控制系统中的视觉控制器，其关键是寻找图像雅可比矩阵J。(imageJacobian)，即，用来描述图像特征空间与执行机构位姿空间的微分关系式：F=J。，(1．1) 第一章绪论其中：r代表执行机构在任务空间的位姿向量，i代表执行机构末端的速度F代表图像特征向量，尸代表相应的图像特征变化率r驴]2弦j2蕊觑矾跣越氓aF，a‘在式(1．2)中，n表示图像特征的维数，ltl表示任务空间的维数。(a)基于图像的look．and．movo控制结构(a)lmagt-b∞酣|ook·and．movecontrolstructure(b)基于图像的Directvisualscrvoing控制结构(b)lm89e-baseddirectvisualstrvoingcontrolSqlaacture图1-2．基于图像的视觉伺服控制结构Fig．1-2．image·basedvisionservoingoonFolstructure(1．2)早期的视觉伺服研究要求图像特征个数与执行机构(通常为机器人)的自由度数相同，以保证，，为方阵，同时要求选择合适的图像特征以保证d。的非奇异性。图像雅可比矩阵的构造主要有解析法、在线调整法、离线训练法。解析法一般通过己知模型进行计算。在线调整法是在摄像机模型及机器人模型未知的情况F，通过一定的辨识或优化算法得到的，这种6 申请上海交通大学博士学位论文算法需要对初值进行选择。离线学习方法主要采用神经网络或离线示教等方法。有关图像雅可比矩阵的研究可见文献【5]、【6】6、【7]、[8]8、[9】、[12】。当获得图像雅可比矩阵后，视觉控制器可设计如r：，=g(f)，。+(F+-F))=g(f)』。+e(t)(1．3)式(1．3)中：g(t)用来调节F趋向F+，它可咀是简单的比例函数或是复杂函数；，为执行机构运动参数，‘，。+为图像雅可比矩阵的伪逆阵估计。基于图像的视觉伺服控制方法的主要缺点是：①计算t，。需要估计目标深度，而深度估计一直是机器视觉中的难点；②摄像机位置可能收敛于局部最小点，而非理想值；③跟踪过程中，图像雅可比矩阵可能存在奇异值，使系统不稳定。此外，保证系统全局稳定性的充分条件为L，。+，。>O，Vt，此条件在实际应用中难以实现。关于基于图像的视觉伺服控制方法的文献很多㈣|73】。如，C．Colombo等人在仿射视觉伺服f23】(AVS，affinevisualservoing)的基础上提出了二维图像扩展仿射的概念，将表达摄像机和目标之间关系的仿射模型与控制策略相结合设计了扩展仿射视觉伺服【2⋯(EAVS，extendedaffinevisualservoing)，降低了所要表达的视觉信息量，从而简化控制算法。此外。还有一些基于图像的视觉伺服方法将控制策略与局部位置估计㈨、自适应深度估计{8)、或图像雅可比矩阵估计【221等方法相结合。1．2．2．3．2．1，2一D视觉伺服方法总结了以上两类视觉伺服方法的优缺点之后，EMalis等人㈣l卅提出以二维图象空间中的目标特征点位置误差Ep，和三维笛卡尔空闻中的摄像机旋转误差Au0作为控制系统的输入和反馈，从而产生一种新的视觉伺服方法——2．1，2一D视觉伺服方法。2．1，2一D视觉伺服控制结构如图1．3所示。在2—1／2一D视觉伺服方法中：控制系统首先从当前图象和理想图象中抽取出目标特征点在图像坐标系中的二维位置Pe和Pe‘(它们分别对应摄像机的当前位置和理想位置)，并根据Pe和Pe‘迭代求取当前图象坐标系和理想图像坐标系之间的革应矩阵(homographymatrix，以下简称H矩阵)、及目标特征点在图像坐标系中的二维位置误差Ep；然后根据H矩阵求得uO(“为摄像机的旋转轴，占为摄像机绕甜轴旋转的角度)，并将Ⅳ曰与给定的摄像机位姿期望“臼’相比较，得到摄像机旋转误著域AuO：摄后将AuO和￡p一起送入控制器7 第一章绪论作为控制系统的误差量，并求取执行机构的运动参数。选择auO和Ep作为控制系统误差量的好处在于：①三维向量Ⅳ口可控制摄像机的方向，u8则可表示摄像机旋转角速度。的矩阵函数，且它在整个工作空间无奇异点，这不仅提高了系统冉勺稳定性，而且保证系统在整个1：作空间向理想位置收敛，从而使得在跟踪过程中，不论摄像机的初始位置如何，目标始终在摄像机的视觉范围内；②-7．维误差量Ep作为视觉控制器的输入量保证了系统在其校准误差下的全局稳定性。图I-3．2-1#2一D视觉伺服控制结构F19．1-3，2-I／2--Dvisualscrvoingcontrolstructute2—1／2D视觉伺服控制方法也存在着缺点：①需要进行特征点匹配，求解H矩阵是一个计算量很大的迭代过程；②易受图像噪声影响。文献[30]详细论述了如何由对应矩阵求取摄像机部分位置参数，并指出：若目标为一平面．则求取H矩阵是一个线性问题，至少需要4对不共线的特征点；若目标为非平面时，则求取H矩阵就成为一个非线性问题，求解H矩阵至少需要8对不共面的特征点。文献【27】提出用线性化算法来解决非平面目标所产生的非线性问题。1．2．3．视觉伺服中的图像处理技术视觉伺服系统的图像处理主要包括图像颈处理、图像分割、目标识别、图像特征提取等。①图像预处理：去除图像噪声及图像冗余信息，有选择地突出感兴趣的图像特征。常用的图像预处理技术如各种图像滤波技术、直方图修正技术、几何校工E技术等；8 申请上海交通大学博士学位论文②图像分割：将图像划分成不同区域的过程称为图像分割。在图像中。相互连接的具有相似特性的一组像素构成区域。利用图像分割可以分离目标和背景。由于医域可能对应场景中的物体，因此区域检测对于目标检测十分重要。③目标识别：提取图像中目标区域特征，并根据目标特征进行目标分类。当图像中存在多个目标时．就需要进行目标识别以找出被跟踪目标。若图像中只有一个目标，则由图像分割得到的目标区域可直接作为被跟踪目标：④图像特征提取：这里所说的图像特征选择与目标识别中的不同，它是指视觉跟踪控制所需的、能反映目标在图像平面中的位置或位置变化的图像特征。图像特征可以是目标上的点、曲线、或区域在图像平面上的投影。具体地说，可以是图像平面中目标上某点的位置【5L㈣，目标的形心位置或其惯量的高次幂f”l，目标上某条线段的距离、方向⋯】、或其它线段参数【5】，目标面积或相对面积f“l等等。由于本文中的目标图像比较简单，不涉及图像滤波、校正和目标识别技术。因此，下面就图像分割和图像特征作详细介绍。1．2．3．1．图像分割定义“”：图像分割是把图像中象素聚合成区域的过程，使得区域R满足：·U岛R，=整幅图像象素集；·任何区域满足一致性谓词：p(R，)=True；·任何两个相邻区域不能合并成单一区域：P(R。UR。)=False。如定义所述，图像分割满足一致性谓词。一致性谓词P(·)定义了区域的同质性判据，如灰度级别相近、纹理形似等。实际上，图像分割基于两项基本原则：数值相似性和空间接近性。相似性和接近性原则又源于以下假设：同一物体表面上的点集投影到图像上，得到的象素点集在空间上十分靠近且具有相似灰度值。因此，分割产生的图像区域要求满足相似性和接近性原则。举例来说，如果两个象素具有相似的灰度、或它们十分靠近，则它们可分配至同一区域。目前各种先进的理论，诸如模糊理论、神经网络、随机场论、和形态学等，都被应用于图像分割中。但需要指出的是，尽管研究人员提出了许多分割方法，但至今还不存在一种通用的分割方法，也不存在一个判断分割是否成功的客观标准。根据应用图像信息的不同，图像分割方法分为‘”l：基于图像灰度信息的分割，基于图9 第一章绪论像纹理信息的分割，基丁幽像运动信息的分割。1．2．3．1．1．基于图像灰度信息的分割方法基于灰度信息的图像分割假设一致性区域中的象素具有灰度一致性和空间相近性的特征，并咀此来实现分割。因此选择一个灰度门限，对图像进行二值化，是完成图像灰度域分割的重要手段，面如何选择灰度门限(又称闽值)是图像分割质量好坏的关键。传统上，阈值选取一般基于图像的一维灰度直方图，如双峰法、类间方差法、熵不变【401等分割方法。然而，一维直方图无法反映图像象素的空间相关信息。于是，对于复杂场景的图像，人们引入二维灰度直方图的概念。二维灰度直方图由图像灰度与象素的邻域平均灰度，或由图像灰度与图像梯度信息共同构成。它不仅包含图像灰度的统计信息，而且还包含图像的空域信息。文献[41]～C43]提出了一些基于=维灰度直方图的闽值法。这些方法的分割效果较好，但运算时间长。随着模糊算法、神经网络和遗传算法技术的发展和广泛应用，利用它们进行闽值选取近年来取得了很大成就[441145114“。此外，自1984年，s．Geman和D．6eman将：Markov随机场用于图像恢复以来|47】．随机场模型成为描述图像的一种最佳模型。文献[48]介绍了基于空域一致性条件约束的Markov随机场的分割方法。根据统计的闽值选取方法请参见文献(49]。1．2．3．1．2．基于图像纹理信息的分割方法对于复杂图像而言，仅根据灰度值可能无法区分开目标与背景，有时可能还需要从目标和背景所具有的不同纹理来区分。描述纹理的方法很多，它们大致分为统计方法、结构化方法和模型方法。当纹理基元很小且成为微纹理时，统计方法特别有用。而当纹理基元很大则应采用结构化方法，即先确定基元的形状和性质，再确定控制这些基元位置的规则，形成宏纹理。模型方法是先假定一个纹理模型，然后通过图像区域估计模型参数，若模型正确．则由该模型合成的图像纹理应与原始图像纹理一致。纹理分割是指自动确定图像中各纹理区域之间的边界。纹理分割方法一般分为基于区域的方法和基于边界的方法。这两类方法的区别在于，基于区域的方法检测纹理特征的一致性，而基于边界的方法检测纹理特征的相异性。文献【51】给出传统的基于统计的纹理描述方法一一灰度共生矩阵。文献[52】结合Markov随机场进行纹理分割著取得了满意的结果。文献f53】指出分形模型可以很好地描述自然纹理，利用分形模型拟合误差及分形维数的差异可对自然背景中的人造目标进行分割提取；lO 申请上海交通大学博士学位论文1．2．3．1．3．基于图像运动信息的分割方法当图像场景复杂时，无论是根据图像的灰度信息还是根据纹理信息进行分割都有一定的局限性。由于摄像机采集的是序列图像，因此如果将图像放在时间轴上考虑，即基于图像运动信息进行分割，可相对容易地检测出图像中的运动物体。传统的运动目标检测方法有差图像法、背景差提取法和光流法。(1)差图像法(TemporalDifference)差图像法采用差分法直接求取前后两帧图像的差图像，即：吼。删)=P剐九‘^k0，其)-它f(‘J’¨”J>71(14)式(1．4)中，f(i，J，七)与f(i，_，，k+1)分别表示在k帧图像和(k+1)帧图像中，图像坐标为(f，，)的像素点的灰度值。这样一幅二二值圈像表示了所有可能的运动信息，当然也包禽了许多噪声点。孤立噪声点的滤除可以在图像处理后期由形态学的腐蚀、膨胀等算子完成。关于差图像法的应用请参见文献f33]。其它关于差图像法的文献有：文献【54】，针对小目标和缓动目标提出一阶差图像(FOD)和二阶差图像(SODP)的计算方法：文献【55】，针对环境光线变化的影响提出根据块内的灰度均值和方差进行差图像的方法，该方法在实际监视系统中获得了很好的应用。需要说明的是，当摄像机随目标运动时，传统的差图像并不能代表真正的目标运动。因为，这时整个成像场景都处于运动状态。为克服摄像机运动的影响，人们提出了先对摄像机运动进行补偿再求差图像的技术【56】。(2)背景减除法(BackgroundSubtraction)背景减除法对当前图像与背景图像进行差分来检测运动区域，一般情况下，它能提供最完全的特征数据。但该方法对于动态场景的变化，诸如光照变化、外来物干扰等，特别敏感。最简单的背景模型是时间平均图像。目前，研究人员多致力于对背景模型的研究，以期减少动态场景变化对运动检测的影响。如Haritaoglu㈣等利用最小、最大强度值，晟大时间差分值对场景中各个像素进行统计建模并周期性地进行背景更新；McKennal3”等采用将像素色彩和梯度信息相结合的自适应背景模型来解决影子及不可靠色彩线条对分割豹影响：就背景变化很慢的图像而言，运动目标可以看作是背景的随机扰动，因此可以基于卡尔曼滤波理论更新和重建图像背景【32】。(3)光流法(OpticalFlow) 第一章绪论光流，是指图像亮度模式的表观运动【】”。光流法利用图像光流场进行图像分割。光流法的优点是，既便摄像机存在运动，它也能检测出独立的运动目标。例如，Meyerp4)等通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。需要说明的是．光流法基于光流场等于图像运动场的假设之上。该假设在一般情况下可认为是成立，但在某些情况下它不能成立，譬如，当光源运动而物体静止时，光流不等于零而运动场等于零。此外，光流法的抗噪性能较差、计算也较复杂，如果没有特殊硬件很难用于实时处理之中。关于光流更加详细的讨论见文献【35】。随着研究的深入，Markov随机场模型在运动场的估计求解中得到了成功的应用‘57】·15”。特别是从文献[57]以来，将图像分为静止、运动、显现、遮拦等部分，通过某些统计迭代方法可获得较为精确的运动场模型，然后可较准确的提取出目标口”。这种方法虽较准确，但计算量大、实时性差。1．2．3．2．图像特征对于视觉伺服系统而言，其视觉控制器的性能依赖于系统所提取的图像特征。早期的视觉伺服系统多采用简单的局部图像特征，如点、线、圆网、矩形、区域边缘等，其中点特征被广泛采用。当局部图像特征选取恰当时，视觉伺服系统可实现精确定位。但是，单独使用局部图像特征有可能会影响系统的操作范围。这是因为，在真实场景中，物体的形状、纹理、噪声、光照及遮挡等情况都会影响局部特征的可见性，而局部特征一旦超出了视域范围，视觉伺服系统很难实现准确定位。为避免局部图像特征超出视域所带来的问题，近年来有学者提出采用全局图像特征。全局图像特征主要包括图像矩，图像到直线上的投影，随机变换，傅立叶描述子等。全局图像特征的优点是，可以不进行特征匹配，适用范围也较广。它的缺点是，定位精度可能比用局部图像特征低。图像特征的选取没有通用的方法，必须针对任务、环境、系统软硬件性能等，在时间、复杂性和系统稳定性之间进行权衡，才能选出合适的图像特征。选取图像特征一般基于以下原则：①图像特征必须使目标与背景有明显区别；②在采样时间间隔内，图像特征必须具备短时的平稳性；③在保证识别和伺服的前提下，要求尽量减少图像特征的数量及其相关性。常用的图像特征大致分为三类【13J：局部特征，全局特征，和关系特征。 申请上海交通大学博士学位论文(1)局部特征。局部特征通常位于物体的边界上或者表示区域中可辨识的一个小曲面。一小段边界线段、或一个表面片的形状等等都是局部特征。曲率及其有关性质也属于局部特征，比如高曲率点(即角点)就是经常被使用的局部特征。在有遮挡或图像不完整的情况下。采用物体的局部特征比用物体的全局特征更有效。(2)全局特征。全局特征通过考虑区域中的所有点，或只考虑区域边界上的点来获得。在每一种情况r，目的都是通过考虑所有点的位置、强度特性和空间关系得到描述子。具体地说，全局特征是指图像区域的一些特性，如面积、周长、傅时叶描述子、矩特征等都是全局特征。其中，图像的矩特征(简称图像矩)的提取较为简单，由于它不涉及复杂的计算而被广泛使用，并且矩特征对于识别目标形状和位置具有重要意义。定义1：设图像以函数f(x，Y)表达，则图像f(x，Y)的(p+q)阶图像矩为m阳=￡￡xPy9f(x,y)dxdy(15)图像f(x，Y)的(p+q)阶图像中心矩为蚱。=￡￡扛一i)’o一歹)9，(五y)axay(1．6)其中，王=卫，歹：塑(1．7)moo其中，舅、歹即图像灰度重心的坐标，中心矩∥w是反映图像中灰度重心分布的度量。值得一提的是，若图像中只有一个目标区域且图像背景灰度为零，则膏、歹为目标区域的灰度重心坐标，Ⅳ20和∥02分别表示目标区域围绕通过其灰度重心的垂直和水平轴线的惯性矩。若∥20>，‰，则目标形状可能是沿水平方向拉长。∥30和‰3的幅值可度量目标对于其垂南和水平轴线的不对称性，若目标形状完全对称，则这两个值为零。(3)关系特征。关系特征是基于区域、封闭轮廓或局部特征等不同实体的相对位置建立的。这些特征通常包括特征之间的距离和相对方位测量值，它们在基于图像区域或局部特征来识别和描述多个实体时非常有用。多数情况下，图像中不同实体的相对位置就完全定义了一个物体。完全 第一章绪论相同的特征，但关系特征稍微不同，则可能表示完全不同的物体。1．3．视觉伺服的研究趋势虽然视觉伺服研究至今已有二十年的历史，但由于它涉及学科众多以及所涉及学科发展现状的限制，使得视觉伺服研究仍有很多问题需待解决。未来视觉伺服研究方向主要在以下几方面：(1)图像特征选择问题。视觉伺服的性能与所选的图像特征密切相关。图像特征的选择不仅耍考虑识别指标，还要考虑控制指标。从控制的观点看，采用冗余特征可抑制噪声、提高控制性能．但会给图像处理增加难度。因此如何选择性能最优的图像特征、如何处理图像特征、及如何评价图像特征，都是有待进一步研究的问题。(2)无校正视觉伺服的研究。现实中的许多物体难以用模型精确描述，视觉系统也一样。摄像机的精确定标是～个很复杂的过程，需要相应的设备及条件。因此，无定标视觉伺服近几年成为视觉伺服研究中的一个热点。无定标视觉伺服一般需在线调整图像雅可比矩阵，其初值选择相对重要。此外，图像雅可比矩阵的计算也有待进一步简化。(3)结合机器视觉及图像处理的研究成果，建立机器人视觉系统专用软件库。在视觉伺服系统中，视觉系统要进行如图像采集及处理、图像特征抽取、三维重构等工作。这些工作要处理大量数据，其算法也较复杂。若有这样的机器人视觉系统专用软件库，其中包含视觉伺服所需的视觉信息处理软件，则人们进行视觉伺服研究时，就可少走弯路。(4)视觉伺服系统动态性能研究。事实上，视觉伺服系统的性能在很大程度上受其动态性能的影响。但至今，多数视觉伺服研究仍集中在如何由视觉信息确定机器人运动的问题上，而对于视觉伺服系统的动态性能则研究较少。需要注意的是，对视觉伺服系统的动态性能进行研究应综合机器人动力学特性及其视觉过程的动态性能。(5)各种智能算法的应用。目前，神经网络、模糊控制、遗传算法等智能算法在视觉伺服都有应用。人多数算法一般是针对目标的具体特征，或只进行了仿真实验。如何利用各种智能算法解决实际的视觉伺14 申请上海交通大学博士学位论文服问题还有待深入研究。(6)多传感器融合问题。虽然视觉传感器有很多优点，但它有一定的使用范围和局限性。如果能结合其他传感器相互取长补短，则可以提高机器人的感知能力。1．4．论文的研究目的、内容与结构1．4．1．论文的研究目的与内容论文研究一种新的基于图像的视觉伺服方法。论文中，视觉伺服问题描述如下：设目标为-1日tJ体平面，初始状态下，目标平面垂直于摄像机光轴、且距摄像机较近(深度小于1m)。当目标在固定场景中静止或作慢速三维平动时。控制摄像机在固定场景中的三维平动，使目标逐渐位于图像中央且深度逐渐等于理想值。由此可知，论文的视觉伺服研究基于以下假设；①目标为一垂直于摄像机光轴的平面刚体；②目标和摄像机在其运动空间只能平动。该假设使得我们能够找到一种相对简单的基于图像矩的视觉伺服方法。考虑到深度轴上的摄像机平动(已)对目标图像影响较大，论文提出为疋单独设计控制器。此外，针对目标平动情况，论文对静止目标的视觉伺服控制算法进行改进，加入了积分和限幅控制，并仔细研究了跟踪前的初始状态。在对初始状态进行分类之后，论文研究如何引入模糊调节机制以进一步改善系统的动静态特性。与传统的基于图像的视觉伺服方法相比，论文提出的视觉伺服方法较简单、对图像噪声有较强的鲁棒性，并且由于无需在线估算目标深度，其实时性也较强。论文主要从以下几个方面展开研究：1．针对图像特征选择问题，提出以二值目标图像的零阶和一阶图像矩作为视觉伺服系统的图像特征。此外，为提高图像处理的实时性，论文提出了一种快速计算零阶和一阶图像矩的迭代方法。研究视觉伺服方法首先必须选择合适的图像特征，大部分基于图像的视觉伺服系统利用图像的局部特征进行视觉伺服。最常用的局部特征就是点特征。局部图像特征在目标被遮挡的情况下特别有用，但是其抽取易受图像噪声影响，且抽取后还需要在图像之间进行复杂的特征匹配运算。而全局图像特征因为考虑了所有图像数据，所以它对图像噪声具有较强的鲁棒性，并且当图像上只有一个物体时，采用全局图像特征无需进行特征匹配。2．针对静止目标的视觉伺服问题，提出新的基于图像的视觉伺服方法。传统的基于图 第一章绪论像的视觉伺服方法一般先根据图像特征寻找三维摄像机运动与二二维图像特征运动之间的映射关系矩阵(即图像雅克比矩阵)，然后基于图像雅克比逆阵设计视觉伺服控制算法。当目标静止且摄像机运动只包含平动时(摄像机线速度为v=陬，乃，疋r)，观察图像雅克比矩阵发现，B、L、疋相互耦台，且求解图像雅克比矩阵需已知目标深度而目标深度又受疋的影响。因此，采用传统的基于图像的视觉伺服方法通常需要面对非线性控制问题。考虑到深度轴上的摄像机平动(乃)对目标图像影响较大，论文将乃从摄像机线速度中分离出来，并基于图像特征偏差为其单独设计控制律．而对巧和瓦则根据图像雅可比矩阵和Lyapunov函数设计控制律(与巧和耳相关的图像雅克比阵为一对角阵)。于是，在论文所提出的视觉伺服方法中，视觉伺服控制被分解为两部分：①目标深度控制，控制乃以确保目标深度渐近地趋于理想深度。②图像特征点位置控制，控制乃和耳以确保图像特征点渐近地趋于理想位置。值得指出的是，论文提出的视觉伺服方法无需在线计算目标深度，并且对摄像机焦距误差和比例因子误差有较强的鲁棒性。3．改进静止目标的视觉伺服算法，以用于三维平动目标的视觉跟踪。论文提出将平动目标的初始状态分为四种情况，并针对每种情况设计相应的PI控制算法。三维平动目标视觉跟踪研究实际上是静止目标视觉伺服研究的延续。由于两者的前提条件和控制要求相同，因此只需对视觉伺服系统的视觉伺服控伟4算法进行改进，则用于静止目标视觉伺服的控制系统即可用于三维平动目标的视觉跟踪。无论是对于目标深度控制算法还是对于图像特征点位置控制算法，算法的改进主要体现在以下几个方面：①加入积分控制和限幅控制，形成受限“P+Pl”控制算法或受限PI控制算法；②将跟踪前的初始状态分为A、B、C、D四种情况，根据初始状态的情况以决定是否引入模糊控制，即根据初始状态的不同情况分别采用固定参数PI控制律和参数模糊自调节Pl控制律。1．4．2．论文章节安排论文章节安排如下：第一章：首先简要介绍机器视觉的发展历史及机器对视觉理解的几个层次，指出机器识别和理解三维场景的难点所在：接着着重介绍了三类视觉伺服方法；然后结合原始目标灰度图像的特点，重点介绍了图像分割技术，并对图像特征进行了分类：最16 申请上海交通大学博{学位论义后对论文内容作简要介绍。第二章：根据研究所基于的假设条件推导出推论l，即目标深度只与二值目标图像的零阶矩相关，并以实验加以证明。进而，选择二值目标图像的零阶和一阶图像矩的集合作为视觉伺服系统的图像特征集。第三章：研究目标图像二值化方法及图像特征提取方法。首先针对原始目标灰度图像的特点，介绍几种基于一维直方图的阈值分割方法，接着根据实时性要求选择其中一种并给出了实验结果。然后提出了一种迭代计算零阶和一阶图像矩的快速算法。第四章：针对静止目标的视觉伺服问题，提出一种新的基于图像矩的视觉伺服方法。第五章；针对三维平动目标的视觉跟踪问题，对基于图像矩的视觉伺服控制算法进行改进，使之满足视觉跟踪要求。第六章：总结与展望。 申请上海交通大学博士学位论文2．1．引言第二章图像特征选择设计视觉伺服系统首先需选择合适的图像特征。目前．大部分基于图像的视觉伺服系统利用图像的局部特征进行视觉伺服控制。最常用的局部特征就是点特征【58，2”，点特征一般为图像上易被机器辨识的点的坐标，典型的如图像区域的角点或中心点坐标。其它局部特征包括图像平面中连接两点的线段长度及箕方向口”，图像边缘的长度I矧等。从一对图像的局部特征中获取单应性矩阵(homographymatrix)，分解单应性矩阵可得到旋转运动及深度信息【29|。局部图像特在目标被遮挡的情况下特别有用。而且单鹿性矩阵的研究开始较早也较成熟。然而，要获取单应性矩阵首先必须在一对图像之间进行特征匹配．这一过程比较复杂，计算量也大。从图像处理的角度来看，对图像进行积分处理而得到的全局图像特征，其对图像噪声的鲁棒性要强于经由微分处理而得到的局部图像特征。如，图像矩的抗噪性就明显好于点和线。除图像矩以外，与全局图像特征相关的还有两块投影面的相对面积I”】，投影面的中心f83】等。本文研究近距离目标的单目视觉伺服问题．它基于以下假设：(a)目标为一刚体平面，目标平面始终垂直于摄像机光轴；Co)目标和摄像机在三维空间中的运动仅包含平动。上述假设使得我们有可能找到一种提取方法相对简单的全局图像特征，从而提高视觉伺服系统的实时性。2．2．视觉伺服系统硬件结构如图2-l所示，摄像机被安装在三坐标机械装置上，三根相互垂直的金属螺杆构成一个三维笛卡儿坐标系(x、Y、Z轴如图2-1所示。)它就是摄像机的任务空间。注意，三坐标机械装置上装有三台步进电机YZ图2-1三坐标机械装置示意图Fig2·1Thesketchmapof3一aXiSmecb,a,'：．ism8 第二章图像特征选择可带动x、Y、Z轴分别转动。在图2-1中：①Y轴固定在滑块A并通过滑块A与z轴相连，当z轴转动时，滑块A带动X-Y平面一起在z轴上前后移动：②Y轴通过滑块B与x轴相连，当Y轴转动时，滑块B与x轴一起在Y轴上上下移动；③当X轴转动时，x轴垂直于Y～z平面左右移动。这样当摄像机被固定在x轴一端时，控制x、Y、z轴的转动就可控制摄像机在三维笛卡儿空间中的线速度大小和方向。本文中的视觉伺服系统为典型的微机壹接数字控制系统(DDCS)，其硬件缩构如雷2-2所示。对于一个DDCS，其硬件至少应包括检测设备、输入接口、微机、输出接口、和执行机构五个部分。国2-2中，视觉信号检测目搽设备为CCD黑自摄像头(型号MTVIB81CCD，焦距16ram，分辨率600线)，输入接口为黑白图像采集卡(型号MVPCI-V3A)和微机的ISA总线，输出接口为三坐标步进电机控制卡(型号P￡L839)和微机的ISA总线，执行机构为三台步进电机(安装在三坐标图2-2视觉跟踪系统硬件结构Fig，2t2Hardwarcsuuctureofvisualtrackingsystem机械装置上)。其中，值得一提的是PCL839三坐标步进电机控制乍，它含有三个独立的脉冲发生器，可以同时控制三台步进电机的转动，从而驱动摄像头在x、Y、z轴上同时运动。此外，由于PCL839的输出脉冲功率太小，不足以驱动步进电机，因此我们增加步进电机驱动器对PCL839的输出脉冲进行功率放大。2．3．图像运动仿射模型本文研究的是近距离目标(深度不大于lm)的三维视觉伺服问题。由于物体与摄像机距离较近，且摄像机焦距不是很大(焦距等于16mm)，因此摄像机模型可以采用针孔模型。如图2-3所示，建立两参考坐标系：摄像机坐标系{C)(以下简称坐标系fc))和图像平面坐标系fI)(以下简称坐标系{I))，其中坐标系{C)的原点0设在透镜中心处，坐标系{I)的原点0设在摄像机光轴与图像平面的交点处。圈2-3．摄像机坐标系fCJ和图像平面坐抚系(I)Fig．2-3．Thccameraframe{C)andtheimageframe{1)9 申请上海交通大学博士学位论文如图2-3所示，在目标上任取一点称之为点P，P在图像平面上的投影点称之为点P。设坐标系{c)中P的坐标为[Ⅳ，Y，Z】71，坐标系{I)中P的坐标为[z，卅7。由丁摄像机模型采用针孔模型，因此点P与点P之间的透视投影变换公式如下：f工：篮工{y：争zy(21)其中，f为摄像机焦距，％，和k。分别为摄像机的水平比例因子和垂直比例困子。设：在r和r’时刻(r>，)，坐标系tc}中点P的坐标分别为[Z，Y，Z]7和[Ⅳ’，J，’，Z。】7，坐标系{I}中点P的坐标分别为[工，川7和h’，Y’]7；从，到r，坐标系fc)中点P的平移向量为[战，AY，△Z】7。则丁可用下列模型描述“⋯：幽，△y，△z】『=皿。，】，，，Z‘T—IⅣ，Y，zr(2．2)综合式(2．1)和式(2．2)推知．[x，_y】7和【一，Y’】7之间的关系可由下列仿射变换公式描述：』州硝+缸(2，3)l纠’=Y+妙其中：s=；=，+等，缸=成等，缈=以等眨a，式(2．3)即图像运动仿射模型，比例因子s反映运动前后目标投影点坐标之阊的比例变化。由式(2．3)知，目标点与摄像机的相对平移将引起该点投影在图像上的位置的平移和比例变化，式(2．4)表明：比例因子s只与相对平移前后的目标点深度(Z’和Z)相关；目标点投影在坐标系{I}中的位置的平移量和比例变化量不仅与该点在坐标系{c}中的平移矢量(【麟，△y，△z】7)相关，而且与该点平移前的深度(Z)相关。实验表明：当目标为始终垂直于摄像机光轴的日标剐体对，若目标仅在坐标系{c，的x轴上水平移动则图像运动表现为目标投影区域的整体水平平移，若目标仅在坐标系{C)的Y轴上上下移动则图像运动表现为目标投影区域的燕体垂直平移，若目标仅在坐标系fC}的z轴上前后平移动则图像运动表现为目标投影区域的面积缩放。因此，初步认为，图像上目标投影区域的面积缩放及平移变化量可间接反映出目标在坐标系{c)中的三维位置变化量。 第一二章图像特征选择2．4．从图像中提取比例因子S2．4．1．理论推导定义l：设在图像平面坐标系{I)中，目标的投影区域为闭合区域A，二值目标图像为b(x，Y)，则b(x，Y)可定义如下；吣∽=慌暑：三亿s，引理1：已知目标为一始终垂直于摄像机光轴的平面刚体，且当目标深度分别为Z’和Z时目标的二值图像分别为6’(x，Y)和b(x，Y)，设图像6’(x，Y)和b(x，Y)的零阶图像矩分别为肌oo‘和朋oo，则下列关系式成立：Z’S=一2Z(2．6)证明：设图像b(x，Y)上的目标投影区域为区域4，图像b。(x，Y)上的目标投影区域为区域4’。由于图像6(z，Y)和6’(五y)为同一目标的=值图像，因此区域A中的点与区域A。中的点一一对应。再设，区域彳中任取一点为点i，点i在坐标系{T)中的坐标为陋，f]7，点i在区域A’中心∽箸，州叫Ⅲ舫．，，"∽，1，．=如等，八¨’¨叫^亿叫洲凡=阮荆0。，足，愕㈦，，根据图像f(x，Y)的(p+q)阶图像矩的计算公式(即I．3．2小节中的式(1．5))2五耐"一D盟撇 申请上海交通大学博士学位论文m。=￡￡x～Ym，y)dxdy二值目标图像b(x，Y)和矿(x，力韵零阶矩，m00和moo。，分别如式(28)和(29)所示(2．8)‰’=仆。y。b协，y)dxdy=肛一dl(29)将式(2。7)代入式(2，9)中，等于式(2．10)成立：“2⋯．眵A北。。挺。l粉睁(I。．，’)E+(^，，)EJI。＼’’，+，I(2．10)设目标平移前后，其上任一点深度分别为Z，、Z．’。则由式(2．4)知该点在图像上投影，7●位置的比例变化为：5。=}。因为目标是始终垂直于摄像机光轴的平砸刚体，所以目标深度等于其上任一点深度。由已知条件知，平移前后的目标深度分别为Z和Z’，则有：Z．=Zz，·=z’。若令；=s，则。=；=s。于是，式(2l。)可变换为：‰。2(k,』』1)*A去Si黝=去Si。。妒2了mooi(女，，k』oZ’=，S×Z因此，引理l得证。分析式(2．8)和式(2．9)t可知：聊∞实际上是深度等于Z时目标的投影面积(即区域／：／的面积)t而moo’是深度等于Z’时目标的投影面积(即区域A’的面积)。因此，由引理1可推出以下结论：若目标为一始终垂直于摄像机光轴的平面剐体。则当目标深度由Z变为Z4时，目标在图像平面上的投影区域由4变为A’，目标平面上所有点的比例园子5相等，且s等于目标投影区域4与彳1面积之比的开方。因此，式(2，6)表明：当目标为一始终垂直于摄像机光轴的平面刚体时，影响目标投影面积大小的只有目标深度，且目标投影面积开方与成像时的目标深度成反比。垆ll咖出@％◆～仆～=∞研如』盯川惦t=五w 第二章旧像特征选择2．4．2．实验研究为验证引理1，作以下实验：将一方形图片作为目标置于镜头前500ram，使其垂直予摄像机光轴，拍摄一幅图像(如图2-4(a)所示)，然后将图片移至镜头前(a)深度为500ram的目标成像(a)深度为760mm的目标成像(a)Theimageofthetarget(a)Theimageofthetarget760mm，保持图片与摄像机光轴atthedepthof550mmatthedepthof760mm垂直，再拍摄一幅图像(如图图2-4目标图像2．4(b)所示)。Fig，2·4Targetimages7’设Z=500ram、Z’=760mm，则：兰r-p=1．5200。再设，图2-4(a)中目标投影面积为二rnoo，图2-4(b)中目标投影面积为m’00。根据式(2．5)二值化图2-4中的两幅目标图像之后(二值化方法将在第三章中讨论)，计算它们的零阶图像矩，得：m00=21703，m’00=9319a则=1．5261．岛Z烘于J嚣a’V聊’m为获得式(2．6)的计算精度，作实验如下：将方形图片作为目标，保持目标与摄像机光轴垂直，目标深度从500ram至1000mm，每隔50mm摄取一幅图像。实验数据如表2-1所示，魏s=；，；=岳。表2-1从图像中提取比例因子s的实验数据n123456789一。}sl10001．200013000l40001．5200I6000170001．80001．9000z．00。。Jj1．1026l19881．2961l3470l52611．62731．67671．81231．88652,0137由表2-l中数据计算；与s之间的RMS(均方根)误差，并以此作为公式(26)的计算精度，得：删S。～％=X100％=1．73％五‰ 申请IJ旖交通人学博卜学位论文2．5．图像特征选择为研究问题方法，首先作如下假设和定义。设：目标为一始终垂直于摄像机光轴的平面刚体(即满足2．1小节中假设(a)祁(b))，且④理想目标深度为Zd；当前目标深度为z(t)；②目标中心投影在坐标系{I)中的理想位置为[(x。。)d，(儿。。)d】7：③当前时刻t目标平面中心投影在坐标系{I)中的位置为【x。。(吐Y⋯(r)】7。定义2：所谓理想目标图像是指这样一幅目标图像：①目标位于理想目标深度Zd时所成的像；②在坐标系{I)中，目标中心在图像上的投影位置为(【(工。。)。，(儿。)d】7)。定义3：理想目标图像和当前目标图像经二值化处理后满足式(4．5)，分别称之为理想二值目标图像和当前二值目标图像。从理想U-值目标图像和当前二值目标图像中抽取出的图像特征向量分别称为理想图像特征向量和当前图像特征向量。由于我们研究一种新的基于图像的视觉伺服方法，而基于图像的视觉伺服方法完全根据理想目标图像和当前目标图像之间的误差来控制摄像机在空间的运动。因此，在选择图像特征之前，我们应先分析理想目标图像的特点。由定义2推知。要使目标成像为理想目标图像，必须满足两方面要求：①在坐标系{c}中，目标深度必须等于乙：②目标中心投影在坐标系{I)中的位置坐标必须等于【(x。球)d，(y。韶)d】1。显然由第②点要求知，口。。(r)，Y。。0)】7可作为刿断当前目标图像是否等于理想目标图像的指标之一。因此，我们选择【x。。0)，yo。(f)】’作为视觉伺服系统的～项图像特征。又由式(I．7)知，当目标图像为二值图像时，目标投影区域中心的坐标等于二值图像的一阶图像矩与其零阶图像矩之商。又，当目标为一始终垂直于摄像机光轴的平面刚体时。目标中心正好投影在目标投影区域的中心处。因此，目标中心投影点与目标投影区域中心为同一点，它的位置坐标可由下式估算出：l一次)2器幌一“)2豢出⋯驴而(．rnlo)d◇⋯卜而(t001)d(211) 第二章图像特征选择因此，以图像特征[桊，丽too,(t)阳代图像特帅。小机√明7。[桊，丽too,(t)m为图像特征的好牖①目神。点的唯一性使得无需对该点进行图像特征匹配，从而简化图像处理过程；②图像矩使得该点对图像噪声不敏感。由舭．a溉若目标为始终垂直于摄像机光轴的平面刚体，则“垆等。这时，就目标深度而言，s(，)具有明确的控制意义，即：当，≥r。存在}s(f)一1J≤s时，可认为在“时刻，当前目标深度等于理想目标深度。假设一对二值图像一一二值理想目标图像和二值当前目标图像，它们的零阶图像矩分别为(m∞)d和聊00(f)，则由引理1知·s(t)可(m∞)d和肌oD(f)计算出，即：印，=等=蕊因此，选择√珑oD(f)作为衡量当前目标深度是否等于理想目标深度的图像特征。综上所述，若目标为一始终垂直于摄像机光轴的平面刚体，则当前目标图像等于理想目标图像的判别依据可以是：c厕=而⋯t筹，瑞卜鼢，黜卜即当条件((拂oo(})=(m00)d)且(mlo(幻=(m】o)d)且(％I(f)=(‰】)d))得以满足时，当前目标图像等于理想目标图像。因此，我们选择二值目标图像的零阶和～阶图像矩作为视觉伺服系统的图像特征。若以符号Ss表示二值目标图像的图像特征集，则：Ss={mlo?rtolm∞j。2．6．结语本章主要研究视觉伺服中的图像特征选择问题。传统的视觉伺服方法一般选择图像上的点、线等局部特征作为图像特征。基丁局部图像特征的视觉伺服方法的缺点是：①必须进行 申请上海交通大学博士学位论文图像特征匹配，而特征匹配一向是计算机视觉研究中的难点之一。②局部图像特征对图像噪声敏感。以克服上述缺点，本章研究～种可用于视觉伺服的全局图像特征。首先，我们根据摄像机针孔模型推导出图像平动仿射模型。仔细分析图像平动仿射模型．我们发现：在垂直于摄像机光轴的平面刚体和二维平动这两项假设条件下，图像平动仿射模型中的比例因子(S)，和目标与摄像机发生相对平移前后的目标点投影位置([x，纠7和肛’，y’]7)相结合，可以很好地反映目标的三维位置变化([硝，AY，△zr)。进一步的研究表明，当目标为始终基于垂直于摄像机光轴的平面刚体时：①比例因子(s)等于相对平移发生前后的两个目标投影面积之比的开方，S只与二值目标图像的零阶图像矩相关：②s等于相对平移发生前后的目标深度之比：⑤由于任意两个目标点深度相等。因此任意两个目标点在图像平面上的投影位置的变化相等；④目标平面中心在图像平面上的投影点就是二值图像上的目标投影区域质心，其投影位置可通过二值目标图像的一阶和零阶图像矩估算出来。裉据上述第②、③、④点，我们选择比例因子(S)和目标平面中心的投影位置(h。一。，Y。一。】7)作为图像特征a其中，【}一。，儿．。。r可由二值目标图像的零阶和～阶图像矩估算出，即，k一矶J2【器，篙】7。而由上述第①点知，s只与√历00相关。因此t图像特征s和【聋。。，y。。】7可由图像特征厩和篇，丽too,(t)H代。此外，对于一对国像(当前目标图像和理想目标图像)，若它们的二值图像的零阶和一阶图像矩存在以下关系：(喇∞(f)：(m∞)d)且(mj。(f)=(棚10)d)且(耀o】(f)=(m01)d)，则表明当前目标图像等于理想目标图像。综上所述，本章选择二值目标图像的零阶和一阶图像矩的集合(mlo％l棚00))作为视觉伺服系统的图像特征集。由于图像矩属于全局图像特征，因此图像特征集mlo％】朋00}完全可以克服局部图像特征的缺点。 申请E海交通大学博士学位论文3．1．引言第三章目标图像的处理和分析在基于图像反馈的闭环控制系统中，对目标图像进行处理和分析是视觉伺服控制的前提和基础，其目的是从目标图像中抽取出能反映目标在三维空间中的位置或运动情况的图像特征集。一般而言，图像处理和分析任务包括图像预处理、目标检测、和图像特征提取等几个子任务。它的基本任务流程如图3-l所示。然而．在实际应用中，往往需要根据原始图像的复杂程度对图3一l所示的基本任务进行增减。目标图像i⋯～舅蔓焦鲤⋯⋯．j图3-1图像处理和分析的基本任务流程Fig．3·IBasictaskflowofimageprocessingandanalyzing图3-2原始目标图像Fig．3-2Originaltargetimage图像特征集 第三章目标圈像的处理和分析如前一章节所述，本文采用_二值目标图像的零阶和一阶图像矩作为视觉伺服系统的图像特征。显然应首先二值化原始目标图像，然后从二值目标图像中提取出图像矩。如果物体和背景之间有足够的灰度对比，则二值图像可利用闽值法分割灰度图像得到。这时，二值化和闽值分割同义。本文中。摄像机所摄取的原始目标图像如图3—2所示。仔细分析图3-2可知：①在原始目标图像中，目标为单目标且背景中没有其他物体，因此无需进行目标识别；②原始目标图像由灰度均匀的暗背景和具明显几何特征的亮目标构成，图像信噪比较高，因此采用阈值分割算法就可以将图像中的目标和背景很好地区分开。综上所述，本章的图像处理和分析任务包括两项子任务：阈值分割(或二值化)和二值图像的矩特征提取。其图像处理和分析任务如图3-3所示。3．2．阈值分割原始目标图像特征向量集图3-3本章中的图像处理及分析任务Fig．3-3Theimageprocessingandanalyzingtaskofthischapter闽值法简单实用、计算量少，尤其适用于目标灰度和背景灰度对比较强的图像。阈值分割的基本思想是：利用图像灰度信息选择一个或几个最佳获度阚值，将图像中每个像素的灰度值与闻值相比较。根据比较结果对像素分类。阈值法进行有效分割的关键在于能自动选择合适的阈值。设，灰度图像厂@，y)的取值范围是G={o，l，2，¨．，三一1)，二值图像6(x，y)的灰度取值范围是口={o，6I}．其中，岛∈G。如果t为分割阚值(t∈G)，则通过式(3．1)可将灰度图像f(x，y)二值化为二值图像b(x，y)： 申请上海交通大学博士学位论文吣川=怡勰饕jc。¨闽值算法种类很多，但目前为止还没有出现可适用于各类场合的通用闽值算法。火多数算法利用图像灰度直方图、图像中的目标尺寸、目标出现的概率等来选取合适阈值。图3-4为原始目标图像及其灰度直方图。图3-4表明，在原始目标图像中，目标区域中的像素点灰度值远高于背景区域中的像素点灰度值，并且其灰度直方图呈现出明显的双峰。针对此类型图像，本章首先介绍几种常用的、基于一维灰度直方图的阈值选择算法，然后根据视觉伺服系统实时性要求选择其中一种对图像进行分割。(b)图3．4(a)目标图像：(b)目标图像的灰度直方圈Fig3-4(a)Targetimage；(b)Thegray-levelhistogramoftargetimage3．2．1．基于一维灰度直方图的阈值选择算法设灰度图像厂(工，y)的取值范围为G，且G={0⋯12⋯，L一1)，其中灰度级i的像素数为_，总像素数为N·则灰度级i出现的概率n就等于专。3．2⋯11P-tile法P-tile‘”1法是早期的基于灰度直方图的自动阈值选择方法，它假设在亮(灰度级离)背景中存在一个暗(灰度级低)目标，并己知目标面积在图像中所比例为P％。该方法选择阈值的原则是：依次累计灰度宣方图，直到该累计值大于或等于图像中的目标面积，此时的灰度级即为所求的阈值。P-tile法计算简单、抗噪声性能好，但是需已知给定目标与整幅图像的面积比P％，因此当P未知或P随时间变化时，此方法不适用。 第三章目标图像的处理和分析3．2．1．2．直方图双峰法对于目标与背景的灰度级有明显差别的图像，其灰度直方图呈明显的双峰状：两波峰分别与图像中的目标与背景相对应，波谷与图像边缘相对应。当分割闽值位于谷底时，图像分割可获得最佳效果。直方图双峰法f59】简单易行，但是对于灰度真方图中波峰不明显或波谷宽阔平坦的图像，该方法不太适用。3．2．1．3．类间方差法又称为大滓阈值分割法．是一种受到广泛关注的阈值选取方法。其基本思路是：选取的最优闽值t’将图像象素点分成两类Co、C。(分别代表目标与背景)，且应当使这两类分离性最好。设仃；为类间方差，则最优阈值t‘可通过求取盯；的最大值得到，即：‘。ar91黔盯；。盯；=∞o(∥o—pr)2+∞l(∥I一∥r)2=缈。国，(∥o一∥1)2(3．2)上式中．uo、盯：和∥。、盯?分别为类Co和类c。的灰度均值和方差，其计算如F：f￡一】珊。=∑p．，∞，=∑p，=1一出。f=Ol剐+lL-1￡所=∑驴．，麒=∑扫，(3．3)』；0J=Ou。：丝，卢，=必珊0∞1类间方差(口日2)是图像灰度分布均匀性的一种度量，盯；值越大，说明构成图像的目标和背景部分的差别越大，当部分目标被错分为背景或部分背景被错分为目标都会导致类的差别变小。因此，使类间方差最大的分割意味着错分概率最小。类间方差法‘601对噪声和目标大小十分敏感，它仅对类间方差为单峰的图像有较好的分割效果。当在图像上，目标与背景大小悬殊时。使用类间方差法得到的可能是局部极大值，这时该方法失效。类闻方差法虽然在很多情况下都不是最佳的分割，但其分割质量通常都有一定的保障，可以说是最稳定的分割方法。因此，它得到了广泛的应用。3．2．1．4．一维灰度直方图熵法该方法最早由Pun{61】提出，由Kapur【621进行了改进。在一维Kapur熵法中，若设阚值为 申请上海交通大学博士学位论文t，则物体0与背景B的概率分布为D=鲁，鲁⋯号PiP?jP1B：可PI+I，可Pt+2⋯两RL-111一只。一P。。l一尸与这两概率分布相关的熵定义为：即)-l巾等棚轳ln(1卅+年≠(3t)其中1fL一】只=∑p。，H，=一∑(p．1np，)，H。一．=一∑(p，Inp，)。l=0I=O，=0Kaput定义准则函数：西(r)=H(O)+H(B)。使o(，)最大的闽值t即为最优闽值，IIIf’argm，。aGx*(t)3．2．1．5．矩保持法在矩保持法邮1中，图像，(x，y)的i阶矩定义为：m，=(蜘1)∑∑厂。o，y)。mi可以从图像f(x，Y)的一维灰度直方图计算出来m，：(‰)莹即，j-O(3．5)矩保持法认为，灰度图像／(x，y)是由一幅灰度值分别为Zo和ZI(Zo知：当窜≠0时，S。，=∑Jp。。将S，展开，有J=lS，=PiI+2p，2+3p，3+’·。+(M一2)p，(Ⅳ．2)+(M一1)p．(Ⅳ一1)j墨，=[pll+P,2+Pb+‘·’+p。(M一2)+P,(M-1)】+-So，((．M一1))+【p。2+P日+-·’+p，("一2)+p，(M—1)】÷一So,((A4—2))+[p，3+’·‘+p，(^，一2)+p，("一1)】+卜So，((且彳一3))+[P，(M一2)+P，(M—1)】+Pi(M一”<．---So，(2)卜So，(1)若令：S02；o’2o：s0Jo’2P．．M-O,So,(2)=p,("-I)+p“"'2)，⋯，，则有SM1叭(一)=P。(肘一1)+P。(^，一2)+-··+Pfl’耳。一氐r(1)=So，(0)+p。(M一1)，So。(2)=S0l(1)+p．(M一2，，‘一，So，(M-1)=sm(。蟛一2)+P。因此t对于图像阵列的第i行，Sl，由下列迭代公式计算So，(O)=Sl，(O)=0&，(，)=So，U一1)+P，(^，．J)·Sl，(，)=S¨('，一1)+So，(-，)，J=1,2，．一，("一1)So，=So，(M一1)+P，o根据式(3．15)知Mlo等于图像阵列中各行数据的S。．之和，即：M103．3．3．2．M0I和M00的迭代计算(3．17)假设图像阵列中各行数据之和瓯．(i=0,1，2，⋯，(Ⅳ一1))已由公式(3．17)迭代计算出。Ⅳp¨∑Ⅲ=OS¨∑Ⅲ= 第三章目标图像的处理和分析Ⅳ一1由式(3．16)知：当P≠o时，Mo】=∑心。，。同理，将M。l展开，有Mo]=So]+2S02+3S03+。·‘+(Ⅳ一2)氐(Ⅳ一2)+(|v一1)So(N—1)jMol=【Sol+S02+S03+‘·’+So(Ⅳ一2)+So(Ⅳ一1)】+_R01((Ⅳ一1))+【S02+S∞+··’+氐(Ⅳ一2)+Ⅳo(～一1)】÷一Rol((Ⅳ一2))+【S∞+‘·‘+氐(Ⅳ一2)+So{Ⅳ一I)]+÷一Rol((Ⅳ一3))+ISo(～一2)+so(Ⅳ一1)]+so(Ⅳ一1)卜Ro】(2)+-R01(1)同理，令：R。110’27’Ro。l‘1’2Sow_l},Roi(2)=S。(Ⅳ-】)+So(Ⅳ一2)，⋯，，Ⅲo有R01(N一1)=氏(Ⅳ一1)+So(Ⅳ一21+⋯+S们～“只ol(1)=R。l(0)+&《Ⅳ一】)，R0l(2)=Rol(1)+SofⅣ一2)，·一，Rol(．Ⅳ一1)=R01(Ⅳ一2)+So因此对于图像阵列，Moj由下列迭代公式计算Rol(0)=MoI(0)=0R01(．，)=月01(／一1)+So(Ⅳ一J)，M01(／)=MoI(_，一1)+R01(／)，／=1,2，·-．，(．~r一1)M00=Rol(N一1)+Soo．Mol=M01(N一1)综合式(3．17)与式(3．18)，^40、』l厶I与M00的快速算法描述请参见图3-7。(3．18) 生堕．!：塑奎望查堂塑．!兰丝堡壅3．4．结语圈3．7．MIo、Mo】与M钟的快速算法描述Fig3·7，ThefastalgorithmdescriptionofMm，MmandMoo本章选择二值目标图像的零阶和～阶图像矩作为视觉伺服系统的图像特征。冈此，在图像处理和分析过程中，应首先将原始目标灰度图像处理为二值图像，然后从二值目标图像中提取所需的矩特征。本章中，原始目标灰度图像的特点如下：图像信噪比较高，目标区域较大。目标和背景的灰度对比较强。对于这样的灰度图像，可采用阈值法分割图像，这时二值化和闽值分割同义。因此，图像处理和分析任务被分为两个子任务，即阐值分割(或二值化)和二值图像的矩特征提取。针对目标图像的一维灰度直方图特点，本章首先介绍了几种常用的、基于一维灰度直方图的闽值选择算法，然后基于原始目标图像的复杂程度和系统实时性要求，采用迭代式闽值法对原始目标图像进行闽值分割。分割结果(如图3-5所示)表明．对于本章所给出的目标原始图像，采用迭代式阈值法能够选择出合适的分割阕值。此外，考虑到类间方差法是一种较为通用的阈值算法，我们将迭代式阈值法与类间方差法相比较。实验表明：对于本章中的39 第三章目标图像的处理和分析目标原始图像，两种万活得到的分刮|劂值儿乎相等，但送代式阙僵法的实时性较强。由2．4．2小节知．视觉伺服系统的图像特征集为锄。o‰l聊。。}，而真止用于视觉伺服的变量是√石和[兰量，竺业】7。其中，√蒜表示目标投影面积的开方，,no，竺吐]7表mOO朋00珊∞moo示目标中心投影点位置。我们知道，研究二维图像特征运动与三维目标运动之间的关系一般在图像平面坐标系(即坐标系{I})和摄像机坐标系(即坐标系{c})中进行。因此，变量、／；i和[竺旦，竺旦L】’实际上表示坐标系{1)中的目标投影面积的开方和目标中心投影点位置。由于数字图像一般以二维数组的形式存贮在计算机内，因此图像阵列的处理(即图像处理)通常在像素坐标系(即坐标系{P})中进行。因此，我们有必要研究二值目标图像在坐标系{P}中的零、一阶图像矩与该图像在坐标系{I，中的零、一阶图像矩之间的关系，即^，孑与--ww(／’之间的关系(其中，P，q=0,I)。为此。我们首先研究了图像平面坐标与像素坐标之间的变换关系，然后基于该变换关系式以及M等’的计算公式，得到---—--wp‘q7’的计算公式。计算公式表明：①M跗=Mg’，M品’≠—w护，Mg’≠喇?’；②当p≠0(或g≠0)帅算吖2龇计算硝复杂舭眦粼舭图像特征瓣和【嚣，器】7的快速提取方法，即；①首先在像素坐标系{P}中计算出^fg’、^f善’和^彳品’；②因为Mg’=^彳荽’所以√^彳器’=√^彳蓝’；③通过图像平面坐标与像素坐标之间的变换关系式，将嚣，器煳捌丽M：p嚣n为进一步提高运算粹黝还黜一种迭代计算肘茹’、^，∥和．w{?’的快速算法，该算法避免了矩运算中最为耗时的乘法运算，从而极大地减少了图像处理时间。 申请E海交通大学博士学位论文第四章基于图像矩的静止目标视觉伺服控制方法4．1．引言就未知环境中动态系统的控制而言，视觉伺服(visualservoing)不失为一种很好的方法。典型的视觉伺服系统常见于利用视觉信息实现定位或目标跟踪的机器人手眼系统。根据控制误差是以任务空间的三维笛卡儿坐标表达还是以图像平面的二维坐标表达，视觉伺服方法被分为两类：基于位置的视觉伺服(Position-basedvisualservoing，以下简称PBVS)方法和基于图像的视觉伺服(Image-basedvisualservolng，以下简称IBvS)方法。PBvs方法利用目标的三维位姿误差(3Dposeerror)对目标进行跟踪，该方法对摄像机校准误差敏感，当摄像机校准误差使得视觉伺服系统在二维重建过程中产生较大的量测误差时，将导致跟踪失败。此外，PBVS方法可以利用现有的路径规划技术来设计摄像机在三维任务空间中的运动轨迹，但规划出的运动轨迹有可能使目标脱离摄像机的观察视野。而IBVS方法则直接比较输入图像和给定理想图像，通过控制摄像机运动减少图像误差。因此，IBVS方法对摄像机校准误差具有较强的鲁棒性，也无需三维重建过程。对于缺乏摄像机校准设备的研究者来说，显然IBVS方法具有很大的吸引力。传统的IBVS方法，其核心在于求取图像雅可比的逆(所谓图像雅可比，是反映特征点在图像平面上的运动速度与摄像机在任务空间中的运动速度之间映射关系的矩阵)。传统的IBVS方法常根据囤像特征点运动推导图像雅可比(如文献[5】、【7】、【21])。举例来说，假设：目标静止而摄像机运动。取目标上一点作为特征点，该点在摄像机坐标系中的位置为【X，tzr，其对应像点在图像平面坐标系中的槛置为【ty】7：当摄像机运动速度为，=【V，w】7(V为线速度，v=[矗，乃，疋r；w为角速度，w=[wJ，Wy，w—z]7)时，对应像点在图像上的运动速度为户=【士，纠7。则户与，之间存在以下映射关系：F=2(x，弘Z)，(4．1)其中，J(x，儿z)为图像砖可比，J(x，¨刁的表达式如下‘72I：其中一J(x，Y，Z)为图像雅可比，J(x，，，z)的表达式如下嗍：d 第四章基于图像矩的静止目标视觉伺服方法J(x，Y，Z)=一』o三型Zfo一』上￡立Zfff2+x21。了—一y／Xy—j—x{(4．2)式中，厂为摄像机焦距e根据式(4．2)，最简单的IBVS控制律设计如下：U=，=KJ(x，Y，z)。1(F‘一F)(4．3)其中，K表示增益矩阵(一般为对角阵)，F’为特征点在图像中的理想位置。当图像雅可比不是方阵时，‘，一’以图像雅可比的伪逆，+替代。式(4．3)使函数E，=妄(F‘一F)2取得晟小值，它实际上使得图像特征在图像上沿着特征误差梯度下降的方向接近理想图像特征。传统的IBVS方法存在着以下几项缺点：①当图像雅可比为奇异或病态矩阵时，将导致控制失败；②由于该控制方法仅仅基于图像误差而对摄像机在三维空间中的运动无任何直接控制，因此在图像上看起来理想的特征轨迹映射至三维任务空间有可能增加摄像机运动的复杂度和冗余度№8】；③基于图像的视觉伺服问题往往是一个复杂的非线性控制问题【66】【67l。对摄像机运动进行分解，式(4．1)被改写成下列表达形式：F=J。(x，Y，Z)v+J。(x，y)w(4．4)其中，矩阵L，，(x，Y，Z)由图像雅可比阵(见式(4．2))的前三列组成，它与目标点深度和目标点在图像中的投影位置相关。矩阵J。(x，Y)由图像雅可比阵的后三列组成，它只与目标点在图像中的投影位置相关，而与目标点深度无关。由于摄像机平动和转动对图像的影响不同，因此有学者提出对摄像机的平动和转动分别进行控制，从而产生一种新的视觉伺服方法～2一l／2一D视觉伺服方法。该方法的主要思想是：估算摄像机的旋转运动参量并在三维空间直接控伟4摄像机的转动，而摄像机平动则利用IBVS方法在二维图像空间中控制。目前，多数2-1／2--D视觉伺服方法，如文献【27】、【29]和[691，是利用摄像机的外极线几何结构来获得摄像机的旋转运动参数。在线分析摄像机外极线几何结构等同于计算一对图像之间的单应性矩阵(homographymatrix)，对单应性矩阵进行分解可从中抽取摄像机旋转运动参数。单应性矩阵方法的缺点是：①计算复杂；②要求三维空间中的目标特征点必须共面；⑤矩阵分解不唯一。42 申请上海交通大学博士学位论文值得一提的是，为克服PBVS方法和IBVS方法的缺点，多数2-1／2一D视觉伺服系统使用三维特征和二维特征的混合特征。如文献[27]所采用的特征向量如_F：F=kylogZ印7]’(45)其中，b，y】『为特征点在二维图像平面中的坐标，0与∥7分别为三维空间中摄像机初始位置与理想位置之间的旋转角度和旋转轴向量，z为特征点深度。关于2-1／2--D视觉伺服控制方法的详细介绍请参见文献【27】和【29】。4．2．视觉伺服系统控制结构移动机器人的一项功能是能够在环境中实现定位。实现定位的传感器有多种，如里程计、方向计等内部传感器，超声、激光测距仪等主动传感器，以及摄像机等视觉传感器【70】。已有的定位方法大致分为两种：机器直接利用环境特征定位．和在环境中设置目标引导机器定位p”。本章研究后一种定位方法，其具体描述如下：预先将摄像机移动到指定位置处摄取一幅目标图像，然后抽取图像特征(称之为理想图像特征)并加以保存：定位时，视觉伺服系统首先采集目标图像并从中抽取图像特征(称之为当前图像特征)，然后根据理想图像特征和当前图像特征之间的误差量控制摄像机移动到指定位置。随着摄像机逐步靠近指定位置，当前目标图像也逐渐收敛于理想目标图像。因此．本章所研究的视觉定位问题可描述如下：设目标静止而摄像机运动，则如何利用理想图像特征与当前图像特征之间的偏差控制摄像机的三维运动，使图像特征偏差逐渐趋于零。它实际上属于静}E目标视觉伺服问题。本章研究基于以下假设：①摄像机只能在三维笛卡儿空间中平动；②目标平面始终垂直于摄像机光轴。当摄像机运动只有平动时(即，=v=[0，耳，疋】7)，由式(4，4)知图像特征点运动速度与摄像机运动速度之间存在以下关系：F=^(z，Y，Z)，(4．6)考虑摄像机的水平比例因子t，和垂直比例因子ky，根据式(4．2)，有：，，cx，y，z，=刍[一孑。一以o，；]ca．，， 第四章基于图像矩的静止目标视觉伺服方法综合式({．6)和(4．7)发现，巴耦合于巧及耳且z对户的影响很大。受2·1／2一D视觉伺服方法的启发．我们将对图像有较大影响的摄像机线速度分量疋分离出来并单独进行控制。然而与2-1／2--D视觉伺服方法不同的是，在本章所提出的视觉伺服方法中，图像特征向量不包括三维特征，而完全由二维图像特征构成。将如式(4．6)所示的图像特征点运动速度与摄像机运动速度之间的关系式改写为：户=，。一。cz)[≥]+，。一：c五y，z，乏c。．s，其中，，，∥(Z)为2×2矩阵，它包括式(4．7)中的前两列；J，z(x，Y，Z)为2×1矩阵，由式(4．7)中的最后一列构成。如果已知乏，则根据式(4．8)，我们可利用IBVS方法设计出摄像机在X—Y平面上的平动控制律如下：[≥]=符。^一。cz—r户-J,_z(X,y,Z)Tz]，彤。>。ca．。，式(4．9)可控制图像特征点逐步接近其理想位置。由于式(4．9)中的未知量个数等于2，因此理论上只要知道一对图像特征点的位置即可。由2．4．2小节知，本文选择目标中心投影点作为图像特征点。综上所述，设计视觉伺服系统控制结构如图4-1。图4-1．视觉伺服系统控制结构Fig．4-lControlstⅢmreofvisualscrvoingsystom在图4-1中，F’和F分别为理想图像特征向量和当前图像特征向量，P’和P分别为44 生堕圭塑銮望查堂苎主兰篁笙奎一目标中心投影点在图像平面坐标系(坐标系(1})中的理想位置和当前位置。由3．3小节知F：阻⋯M叭，M。。r，F’=【(M，。)。，(M。。)。，(M。。)。rtM，表示二值图像在象素坐标系(坐标系{P))中的(p+q)阶图像矩；p‘和P根据式(3．12)和(3．13)由F’和F估算。4．3．视觉伺服控制算法4．3．1．目标深度控制算法由2．4．2小节知：用于目标深度控制的图像特征为目标投影面积的开方。而对于二值目标图像而言，其在坐标系{P}的零阶图像矩^彳00，等于目标投影面积。因此，我们利用√^彳00设计控制目标深度的线性控制律如下：乏=Kz(而一√瓦)，K：>0(4．10)如果利用式(4．10)控制z轴上的摄像机平移速度(疋)，则目标深度z将如何变化?下面我们就研究这一问题。由第二章中引理l可推知：ZZd由式(4．11)可推拙厨忑一瓜=厨西(1一≥)。(4．1i)当目标静止而摄像机运动时，有：疋=一Z。将上两式代入式(4，10)中，得到下列微分方程：2；旦一一(4．12)Z当置：为常数时，A、雪为常数，且爿=K：√丽、占=K：Z。√而。对于方程(4．12)，我们利用Matlabp4I中的微分方程求解程序求其数值解。设：Zd=500ram，(Moo)d=10506，Kz=1。则当z(o)=600mm和z(o)=400ram时，利用Matlab中的微分方程求解程序ode45求得方程(4．12)的数值解如图4-2所示。分析图4-2知，在控制律(4．10)式的作用下，无论初始目标深度(z(o))是大于还黑 第网章摹于图像矩的静止目标视觉伺服方法是小于理想深度(Zd)，目标深度(z)都将逐渐收敛丁Zd。所以，式(4．10)被称为目标深度控制算法表达式。此外，仿真实验表明，Kz越大，Z向Zd收敛的速度越快。图4-2．微分方程(4．12)的数值解Fig4-2nlenumericalsolutionofthedifferentialequationof(412、4．3．2．图像特征点位置控制算法我们选择目标中心投影点作为控制摄像机在X．Y平面上的平动速度的图像特征点。这样做的好处是：①目标平面中心在图像上的投影位置可通过对图像的“全局”运算获得，因而对图像噪声不敏感；②目标中心点的唯一性使得无需在一对图像之间进行特征点匹配运算，从而简化图像处理工作。于是，在图4-1中的P+和P分别表示目标中心投影点在坐标系{I)中的理想位置([(x&)一，(y：?。)d]7)和当前位置([z：羔，y芝。】7)。设图像阵列为NXM，根据式(3．12)和(3，13)，P‘和P可由F‘和F估算出：工芝。=急⋯y＆=一甏_6】“‰。粉⋯(煳一=-【羰．6]口：丝土．6：盟2(413) 申请上海交通大学博士学位论文设坐标系{I)中的目标中心投影点位置误差为￡，AE，=p，P，]7，则根据式(4．13)可推出式(4．14)：E，=k，q]7=№|)。(y&)。r一艘。。I玉堕血!丝直1-11垃监-1Ir1一』l(M00)a(Moo)一JLMooMooj根据式(4．9)，X和Y轴上的摄像机平移速度‘和耳由下式计算出阡x。一l力：O(4．14)在控制律(4．15)的作用下，图像特征误差E。逐渐趋于零，即图像特征点逐渐靠近它的理想位置。因此，式(5．15)被称为图像特征点位置控制算法表达式。利用控制律(4．15)控制图像特征点位置，必须在线求取目标深度z。虽然z可根据式(4．11)估算出，但是我们仍然希望对式(5．15)做些改进以期减少计算量。设在坐标系{I}和坐标系{c)中考虑图像特征点运动与目标三维运动之间的映射关系，则根据式(4．6)和(4．7)，下式成立：安2亨(-弦z瓦+x已’(4．16)夕2考(呼，耳+YTz)设以目标中心投影点作为图像特征点，且令图像特征点位置误差为：E，=k，P，】7。；Ei&择Lyapun。V函数为：￡=圭E；E，，则可推知：￡=应；E，。根据式(4．14)得：左，=一k：?。夕芝。r。将上式代入等式上=重；E，，得：上=一k：羔j='：奠b。将(4．16)代入等式上=一阮!。夕掣。P，，并令b，yr_【z：生，y芝。]7。则推知：瓜丁ex(一弦，乃+z：生疋)ZP，(一肛，耳+yj羔疋)ZO>K以以乏一gZ叫别 第四章基于图像矩的静止目标视觉伺服方法为使误差E。渐近地趋向零，令：￡=一∥kP；]7(／a>0)，则推导出下列关系式=∥，j咒一=，{=／．ze，I一2一令≈。=膨。因为Z>厂>0·所以当取k。为大于0的正数时，∥一定大于0。只要／．1>0则三<0，系统渐近稳定。因此，图像特征点位置控制算法设计如下阱与控制律(4．15)相比，控制律(4．17)无需在线估计目标深度。只要设定女。为正数，控制律(4．17)就可保证目标中心在坐标系{I)中的投影位置([艺?。，Jt?。]7)渐近收敛至理想值([(x％)。，(y默)。]7)。4．4．仿真及分析4．4．1．系统受控对象建模4．4．1．1．理论推导为对视觉伺服控制进行仿真，首先必须建立控制系统中的受控对象模型。这里，以状态方程作为描述受控对象的数学模型。分析视觉伺服系统控制结构(图4-1)知，固定场景中的摄像机和目标组成视觉伺服系统中的受控对象，其中，摄像机与目标的相对速度为受控对象的输入，目标图像为受控对象的输出，目标图像以图像特征集表述。若以图像特征向量(F，)作为受控对象的状态向量，摄像机线速度(v)为控制向量，目标线速度(VD)为扰动向量，则受控对象的状态方程可表示为：t=，(0，V，v。，f)。由2．4．2小节知，视觉伺服系统的图像特征集为二值目标图像的零阶和一阶图像矩的集台，所以：乃=h。m叭，聊。。r。下面我们就研究髟=厂(，，，v，v。，f)的具体表达式。设：目标为始终垂直于摄像机光轴的平面刚体，点P为目标上任一点，点P在坐标系{c)4R篝一蒜一，●●●●●●，●●：●●●●●●●L"㈡O>K]i，‰o，㈦p巴一1●，●●J吒q—．。．。．．．．．．．．．Lt]I，¨卜llJ。兰以兰俄。 申请上海交通大学博士学位论文中的理想位置和当前位置分别为【爿d，匕，Zd】7和【z，Y，zj7。；相应地，二值理想目标图像和二值当前目标图像在坐标系{I)中的图像矩向量分别为[(mlo)d，(m01)d，(脚00)d】7和【肌⋯m01，肌00]7，点P在坐标系{I)中的理想位置和当前位置分别为【％，Yd]7和[工，川7。则在坐标系{C)中，当前目标位置与理想目标位置之间的位移矢量为虹，Ay，Az]7=瞳，】，，z】7一阮，圯，乙r(4．18)根据式(2．3)和式(2．4)，【z，力7和Ixd，yd]7之间的关系为fSX=h+缸lsy=Yd+缈忙三za叫+筹z，缸=以等z，缈=辟，筹zdj‘ld：’‘)d(4．19)再设：目标在理想目标图像上的投影区域为凡，目标在当前图像上的投影区域为R，区域轧中的点与区域R中的点一一对应，映射关系满足式(4．19)；二值理想目标图像灰度函数为虬(x，Y)，二值当前目标图像灰度函数为b(x，Y)，bd(x，Y)和b(x，Y)均满足式(2．5)。则根据式(1．5)计算二值图像bd(x，Y)和b(x，y)在坐标系{I)中的(p+q)阶图像矩为(m嚣)。=￡￡xJyaq屯(为，Y。)dxflyd=Jf(％’yaP)dxady。(4．20)(却，蛐)E凡rem(口q1)=蜘pyq)dxdy(J，y)E凡因为，由(x，y17和旺d，ydr之间的关系式(式(4．19))可推出所以卅臀2‰，肼半H半，1黝d出(如，蛳)ER，o。l“～^d，，，『：卜屯f：卜o}：上lY～％l01／sfJ2肌臀=i击盯(奶+△x)9(y。+缈)。出。咖。(4．21)。(』d，yd)E日49 第四章基十图像矩的静止目标视觉倒服方法则结台式(4．20)和(4．21)，图像b(x，Y)的零、一阶图像矩为啦专‰，艘砒=学tod，ydJE^d—m黔71，，『J(蚪△芏)出一匆一=知聊≯)。+△x(研鼽]4(～，Ya)ERa。m⋯=专If(y+ay)ax，咖。=古惭∽。+Ay(m品’)。]。(。d，妇)ERd。于是，下列等式成立；2smjlo’(as／at)+s2【d(肌监’)／at]=03s2州舻(ds／dt)+s3F(研品’)／at]=(脚船)d[d(Ax)／dt]3s2聊g’(dsldt)+S3【d(，，2誓’)／dtl=(刀t：：’)。『d(△x1／dtl因为，根据式(4．19)和式(4．18)，下列推导成立：生：一1Pd(一aZ)】j堕：一1(堕)dtZd。dt1dtZd、dt’(4．22)同理：型=尝(些)，型=ifk,I．一dY)。又：s=乏ZdtdtZdtz一乙。z{、+。、’⋯1‘zj⋯”所咀，式(4．22)又可写成以下形式：廊￡’=一(2棚品’／z)z砌菇1=(弦，／z)【(肌噩’)。／s2IX一(3m_}oO／z)g疏5：’=(by／z)【(m器’)。／s2】P一(3mg’／z)g(4．23)设目标和摄像机在固定场景中只能平动，目标线速度为v。，"PO=‰，7"0，，r02r．摄像机线速度为V，V=k，『r，乏】7。则在摄像机坐标系(坐标系{c})中，下列等式成立：防，】’，2】7=v。一v=[(‰一0)，(to，一0)，(％一疋)】7。又，从式(2．6)推知． 申请上海交通大学博士学位论文≥=c争2=羔。将上面两个等式代入式(4．23)中，得下列微分方程【廊船确船廊船r=J[(巧一‰)(巧一To，)(疋一70z)]7t，：1_l-o船zIo由式(2．6)知，z=zao3m品一m品13卅簦02小品I破昭(肛，，以，，1)J(4．24)。将这一等式代入式(4．24)中，并令卅篇1、m5：1、硝j分别为受控对象的状态变量置、x2、屯，摄像机在固定场景中的线速度([巧，耳，兄】7)为受控对象的控制向量(U)，目标在固定场景中的线速度([7矗，％，，zk]7)为受控对象岩：嘉P飞0翌I慨。鲰删拶圳z一√(，”器’)一loo。2，：j一。。’。’⋯、。约为o．1秒。因此，可认为：膏(灯)。—x—[(—k+—1_)T-]-—X—一(kT)。综合此式与式(4．25)，有坐芋巡。—年集一’岛菱暑I∞舭删艄一r乙√吲扩)1o∥2磊『～⋯p⋯一“1于是，受控对象的离散状态方程近似如下：础帅一蔫P岳，鞫一删似铲删5事 第四章基于图像矩的静止目标视觉伺服方法T为采样时间，J(．i})=k(t)，x2(^)，x3(尼)r，若目标静止则扰动向量D(≈)为零。此夕}M品’的计算公式请参见式(3．11)，由式(310)和式(311)可知，M船=M。。。4．4．1．2．实验研究为验证式(4．26)的正确性，作实验如下：以方形图片作为目标，目标在初始位置时使其垂直于镜头，拍摄一幅图像(见图4-3(A))；然后，目标静止而摄像机在三维空间中平动(其线速度为v=b，耳，已r且v在实验中已知)，每运行1秒钟，摄像机停止并拍摄一幅图像，这样得到一组图像(如图4-3(B)～(J)所示)；最后，理想目标深度(Zd)设定为500ram，将目标垂直地置于镜头前500mm处拍摄一幅图像(见图4-3(}())。晶=案r畦刘V-x：3(k)一知澍咖删㈤z，，式中，r(≈)=阻品’(t)，^万5，’，^彳品’r，u(七)为从图像中估算出的摄像机线速度。维平动的情况下，若Zd和(Mg’)d已知，则摄像机线速度可由图像序列中的两帧相邻目标图像估算出来。实验中，乙=500ram，(Mg’)d从图4．3(K)中抽取，(|】l，品’)d=21703。 申请上海交通大学博士学位论文表4-I实验数据图像(A)一(B)(B)一(C)(C)一(D)【-40，-35，55】1【-35，-37，70】‘卜40，·40，25】1U【-41．7989，．34．0181，55．5962】7[-35．7291，．37．5153，70．1424】7【-42．8913，．42．6252，28．5673】7图像(D)一(E)(E)一(F)(F)一(G)【．40，．15，55]7【·30，-65，35]1【．40，．20，50】’U卜404380，-142625，576582IT卜33．3371，-692178，34．1133】T【-39．4847，-185546，520875】7图像(G)一(H)(H)啐(I)(I)一(J)【-35，-25，60】T卜5仉-5，35J1【-25，-35．30JTU【一37．4596，-23．0124，59．4912】7卜527716，·7．19ll，36．2309】7【-27．8303，36．0455，292781】7表4一l中数据表明，式(4．27)基本正确。由于式(4．27)由式(4．26)推导出，因此表4—1中数据间接地证明了式(4．26)的正确性。4．4．2．视觉伺服控制算法仿真4．4．2．I．仿真结果及分析设系统采样时间T=100ms，其它仿真条件如下：(I)摄像机焦距厂=16ram，水平比例因子七，=40．25(pixels，ram)，垂直比例因子ky=37．2l(pixels／mm)；(2)以目标中心在图像上的投影点作为图像特征点，令它在坐标系{I)中的理想位置在坐标系{I)的原点上，即[(x跛)。，(垲。)d】7--[o,o]7：(3)目标处于理想深度(Zd)且成像于图像中央时的目标图像称之为理想目标图像。令Zd=500ram，根据式(3．10)计算出二值理想目标图像在坐标系{P)的零阶图像矩(M00)d=10506：“)初始状态下摄像机摄取一幅目标图像，根据式(3．11)计算出其二值图像在坐标系{I)的零阶和一阶图像矩为阻锰’(o)，M掣(o)，删：1(o)r：[182750，一36550，7310]r， 第四章基于图像矩的静止目标视觉伺服方法由式(3．10)和(311)知，M00(o)=^f品’(o)=7310。根据式(3．12)计算图像特征点在坐标系{I)中的初始位置坐标为【x：“。。(o)，yy’。(o)]7=[2s，一5y。当目标深度控制律(式(4．10))的系数取为Kz=5，图像特征点位置控制律(式(4．17))的系数取为K。=1200时，静止目标视觉伺服的仿真结果如图4-3所示。l一-ol一一～l～～(a)二值目标图像的MmmM(D01，和M(1k(a)柙)lmM⋯ol，andM％ofthebinarizedtargetimage(c)图像特征点的位置误差(C)Thepositionerfor$oftheimagefeaturepoint(b)目标深度(b)Targetdepth(d)摄像机线速度(d)Cameralinearvelocity图4-3控制律(4．10)和(4．17)作用下的视觉伺服仿真结果Fig4-3Thevisualscrvoingsimulationresultsproducedbythecontrollawsof(5．II)and(5．17)分析图4-3知：在目标深度控制律(式(4．10))和图像特征点位置控制律(式(4．17))的共同作用下，目标深度逐渐收敛至理想值，图像特征点的位置误差也渐近收敛至零。此外，仿真实验表明：①系数茁z越大，己越大，ZM⋯001的收敛速度也越快，但巧和耳不受置z的影响：②系数K。越大，巧、耳越大，^彳g’和州j’的收敛速度越快，图像特征点也就越快地接近其理想位置。因此，如果希望加快视觉伺服系统的响应速度，可适当增大Kz和K。。然而K：和符。54 申请上海交通大学博士学位论文又不能过大，这是因为Kz和K。增大，摄像机线速度也随之增大，而摄像机线速度的幅值一般都有所限制。这又要求我们在选择Kz和K。的值时，必须在摄像机速度和系统响应速度之间权衡，反复实验一注意：在仿真实验中我们直接在坐标系{I)中计算二值图像的矩特征，M描’(o)、M{，’(o)和M船(o)，并将它们作为已知条件，这是因为在受控对象模型中，^，篇’M。(／．’和^彳品’为其状态变量。但是，当视觉伺服系统实际运行时，为提高运算速度，所有图像处理工作，包括图像特征向量(F)的抽取都是在坐标系{P)中进行，即F=阻⋯M⋯M00】『。而图像特征点在坐标系{I}中的位置坐标(【x：?。，y：?。】7)的估算可先由M，。、M。l和M00根据式(3．12)估算出图像特征点在坐标系{P}中的位置坐标([工y乙，yr乙】7)，再由式(3．13)将[zZ乙，J，Z乙]7映射为[x芝。，y：?。】7。4．4．2．2．算法的鲁棒性分析图像特征点位置控制律(式(4．17))中包含摄像机焦距(f)、水平比例因子(k，)和垂直比例因子(k，)·厂、k，和屯为摄像机内部参数，它们的具体数值一般标注在摄像机技术说明书中。由于图像帧获取装置可能会引入某些误差，因此有必要研究当参数厂、k，和丸存在误差时，图像特征点位置控制律对视觉伺服控制系统性能的影响。本章的视觉伺服控制算法使由两个相对独立的控制律构成，我们只要研究那些受图像特征点位置控制律影响的系统变量(即^f誓’、Mg’、及E。)的变化情况即可。当f、kx和ky存在误差时，图像特征点位置控制器的仿真结果如图4-4和图4-5所示。夕、t和丘分别表示摄像机焦距、水平和垂壹比例因子的估计值。当夕：14肌m，t=t=30时，巧和0速度控制器的仿真结果如图4．4所示。当夕：18坍m，k，=t=45时，以和耳速度控制器的仿真结果如图4-5所示。图4-4和图4-5的其余仿真条件相同，均为：①系数Kc=1200：②摄像机焦距和比例因子的实际值分别为f=16mm，k，=37，k。=37；③其它条件同于图4-3的仿真条件(2)、(3)、(4)。5S 第四章基于图像矩的静止目标视觉伺服方法(a)二值目标图像的M01ImM‘”0l(a)M(”10andMo)olofthebinarizcdtargetimage(b)图像特征点的位置误差(b)Thcpositionerrorsoftheimagefeaturepoint(c)摄像机线速度(c)Camemlinearvelocity图4-4f，=14ram，正，=正。=30，图像特征点位置控制器的仿真结果Fig．4-4Thcsimulmi。nresultsofimagefeaturep。intpositionc。ntrollcrwhcn夕=14ram，￡J=￡v=30(a)二值目标图像的Ma)l*M％】(a)Mo)loandMokofthebinadzedtargetimageD)图像特征点的位置误差(”Thepositioncmrsoftheimagefeamrepoint(c)摄像机线速度(c)Cameralinearvelocity圈4-5图像特征点位置控制器取值夕=18m埘，盂，=t=45时的仿真结果髓4-5ThesimuIationreSUItsofimagcfcamreP。intpositioncontrollerwhcnf=18mm，t=l。=45分析图4_4和图4-5，得以下结论：(1)摄像机的焦距误差和比例因子误差不影响视觉伺服系统的稳定性。当，≠，，t≠kx，k，≠ky时，瓦和耳速度控制器仍然可以控制图像特征点位置误差￡，逐渐趋向于零t图像矩M菇’和Mg’逐渐趋于其理想值。(2)摄像机的焦距误差和比例因子误差影响视觉伺服系统的响应速度。当K。保持不 申请上海交通大学博士学位论文变时，若焦距误差和比例因子误差小于零则E。、^，鬈’和^彳g’的收敛速度变快，若焦距误差和比例因子误差大于零则E。、M鬈’*IM{I’的收敛速度变慢。(3)摄像机的焦距误差和比例因子误差影响摄像机速度咒和乃。当K。保持不变时，若焦距误差和比例因子误差小于零则0和耳变大，若焦距误差和比例因子误差大于零则瓦和耳变小a综上所述，我们认为：式(4．17)所示的图像特征点位置控制律对摄像机的焦距误差及比例因子误差有较强的鲁棒性，并且通过调节系数世．的大小可适当抵消摄像机焦距误差和比例因子误差对视觉伺服系统性能的影响。4．5．结语在限定目标为垂直于摄像机光轴的静止平面刚体且摄像机运动只包含平动的前提下，本章提出一种基于图像矩的静止目标视觉伺服方法，并以目标图像作为受控对象设计出视觉伺服系统的控制结构。受2．1／2一D视觉伺服方法的启发．我们将对图像有较大影响的深度轴上的摄像机平动速度(己)从摄像机线速度(v=阢，乃，疋r)中分离出来，单独进行控制，以克服传统IBVS方法的缺点。摄像机的另两个速度分量(巧、耳)则根据图像雅可比矩阵按传统IBVS方法进行控制。与2—1／2一D视觉伺服方法不同的是，在本章提出的视觉伺服方法中，视觉伺服系统的特征向量完全由二维图像特征构成。控制深度轴上的摄像机平动速度乃的是目标深度控制律(式(4．i0))，它控制摄像机在z轴上的平动，从而使目标深度逐渐趋向于理想目标深度，满足视觉伺服系统在目标深度方面的要求。值得一提的是，虽然目标深度控制律只是基于偏差(√ij函ii一√j瓦)的简单线性控制律，但它却可以有效地控制目标深度渐近趋于理想目标深度。对摄像机线速度的其它两个分量，矗、耳，进行控制的是图像特征点位置控制律(式(4．17))，它控制摄像机在x-Y平面上平动，并与目标深度控制律相配合，使得图像特征点逐渐靠近其理想位置。本文设定图像特征点的理想位置在坐标系{I)的原点处。在图像特征57 第网章基于图像鲁巨的静止目标视觉伺服方法点位置控制律中，图像特征点位萱坐标为目标中心投影点的位置坐标。这样傲的好处是：①该点位置坐标可通过二值图像的矩特征估算出，因而对图像噪声不敏感；②目标中心点的唯一性使得无需进行特征点匹配，从而简化了图像处理过程。为对本章提出的视觉伺服控制算法进行仿真，本章研究了视觉伺服系统中的受控对象模型，并由实验进行验证。图4．3中的仿真结果表明．当目标为始终垂直于摄像机光轴的静止平面刚体时，本章提出的视觉伺服方法完全可以满足视觉伺服要求，且视觉伺服控制系统具有良好的动静态性能。此外，我们还研究了摄像机的焦距误差和比例因子误差对图像特征点位置控制律(式(4．17))的影响。图4-4和图4-5中的仿真结果表明，本章提出的图像特征点位置控制算法对摄像机的焦距误差及比例因子误差具有较强的鲁棒性。 申请上海交通大学博士学位论文第五章基于图像矩的三维平动目标视觉跟踪控制算法S．1．视觉跟踪问题描述视觉跟踪问题涉及广泛，对它的研究多见于自动导航⋯”】、自动监控、及机器人等领域中。尤其在机器人领域，视觉跟踪的研究成果可直接应用于手一眼系统【2】【⋯，以解决机器人的自动抓取吐自动避障及对周围环境自适应阳等问题。视觉跟踪系统是一个非线性系统，其控制过程具有高度的非线性和对变性，传统的控制方法往往难以胜任。因此如何将神经网络、模糊逻辑控制、和遗传算法等智能控制方法应用于视觉跟踪系统中成为视觉跟踪研究的发展方向之一。如图5．1建立三个坐标系：世界坐标系(w)、摄像机坐标系{C)、和图像坐标系(I)(以F分别简称坐标系(W)、坐标系(C)和坐标系0，以及如式(4．17)所示的图像特征点位置控制律，阱．．．-．．—1—0批：o』肛。K，E，一zj[；：：：]，，其中?，=[e，，e，r，-l，。共同的作用下，摄像机对平动目标进行视觉跟踪的仿真结果如图5-2所示。图中，足2和世。分别取值5和1200，其余仿真条件同于图4．3(参见4．4．2．2小节)的仿真条件。由图5·2知，虽然摄像机速度将很快收敛于目标速度，但是目标深度不可能等于理想目标深度，图像特征点(即目标中心投影点)也不能移至坐标系(I)的原点处。因此，当目标平动时，采用控制律(4．10)和(4．17)，视觉跟踪系统无法达到其控制目的。6订1Il¨卜lIJ 申请t：海交通人学博tj学位论义另外，分析图5-2(a)和(b)发现：对于匀速平动目标，在控制律(4．10)和(417)的作用下，系统静差％(o。)和E，(。。)最终等于不为零的某常数。于是，我们考虑在控制中加入积分环节以消除系统静差％(。o)和E，(m)。(a)系统误差co(a)eoofsystemerror(c)目标深度{c)Targetdepth(b)图像特征点位置误差(b)Thepositionerrorsoftheimagefeaturepoint(d)摄像机绩速度(d)Cameralinearvelocity图5-2控制律(5．11)和(5．17)作用下的视觉跟踪仿真结果Fig5-2Thesimulationresultsproducedbythecontrollawof(5．11)and(5．17)5．3．PI参数模糊自调节数字PI控制算法的数学表达式为：”(是)=kpp(女)+≥∑P渊(5．1)下t1⋯O其中，“(|j})为控制量，P(七)为期望和输出之间的误差量·k。为控制器增益，F为积分时间常数，t为控制器的采样周期。确定PI参数(k。和Z)的过程称为参数调整。工6 第五章基于图像矩的三维平动目标视觉跟踪控制算法程上，PI参数常通过凑试，或通过实验结合经验公式(如Ziegler-Nichols调整公式)来确定。但是经验公式有其适用范围，并且通过经验公式得到的PI参数往往还需操作者根据个人经验进行微调。针对经验公式的局限性，人们提出各种精调的整定方法【75l。然而这些方法可能会在改善某一控制阶段系统性能的同时却恶化了另一控制阶段的系统性能。究其原因是因为PI参数在整个控制阶段固定不变。因此想到，如果PI参数能够随控制的不同阶段而作适当调整，则有可能改善控制系统的整体性能。模糊控制的一项优点就是它能够将以语言表述的人类经验转换为被机器理解的模糊控制规则。因此，基于模糊控制技术的PI参数自调整方法【76】{81】得到极大关注。本章中，我们将基于闭环系统响应曲线以模糊控制技术实现PI参数的在线自调整。模糊逻辑控制是模仿人的思维方式进行控制的一种控制方法。人可以根据不精确的信息和模糊的语言规则进行推理，从而得出有意义的结果。那么机器如何模仿人的推理过程呢?这一问题的解决依赖于扎德提出的模糊集合论。扎德认为，定量的精确描述不适于复杂系统的分析，因为系统越复杂，为系统建立精确数学模型并进行定量研究也越困难，这时要把握系统整体结构就只有建立系统的定性模型。模糊集合论有两个主要特点：①采用语言变量和模糊规则近似地描述复杂系统：②使用模糊运算法则进行推理。其中，语言变量的值是以自然语言表达的定性的不精确信息，例如，在模糊理论中，温度的值可用高、低或正常来表示。模糊规则以“if．．．then⋯”的论述形式来描述变量之间的关系。模糊逻辑控制器(fuzzylogiccontroller，FLC)如图5—3所示，它主要包括四个部分：知识库、模糊器、推理器和解模糊器。知识库由数据库和规则库组成。数据库包括输入、输出模输入糊变量的隶属豳数，及控制器执行模糊化、模糊逻辑推论和解模糊时所需的其他重要信图5-3．．模糊逻辑控制器Fig．5-3FuzzyIogiccontroller输出息。规则库由一系列“if．．．then⋯”语句陈述的命题构成。当FLC进行控制时，首先由模糊器根据输入模糊变量的隶属函数将精确的输入量转换成由隶属度标识的模糊量。然后由推理器根据规则对模糊输入量进行模糊逻辑推理以获得模糊输出量，最后由解模糊器将模糊输出量转换成精确的控制量。 申请上海交通大学博士学位论文5．3．1．PI参数调节规则的语言描述闭环系统响应曲线揭示了系统输入变化时系统响应的动力学特性，工程上它常被用来判断控制系统的质量。闭环系统响应有这样几个参数：超调率，衰减比，上升时间，响应时间等。一般而言，希望系统具有较小的超调率和较短的响戍时阎。从仿真结果㈣看：PI控制器增益尼，增大或积分时间常数f减小有助于缩短响应时间，但超调率增大；k，减小或互增大有助于减小超调率，但响应时间增长。如图5．4所示，将闭环系统误差曲线分成A～E五个曲线段，分别对应闭环响应过程中的不同阶段。并根据PI参数对系统闭环响应的影响设计五组模糊规则，实现PI参数的在线调节，使闭环系统获得满意的动静态性能。对于离散系统，以符号e(k)利Ae(k)分别表示第k个采样时刻闭环系统的误差量及其误差变化量，则闭环系统误差曲线上的五个曲线段可由e(Ji})和zXe(k)的正负值加以判别a判别方法如下：曲线A，e(k)>0且Ae(k)<0：曲线B，P(七)<0且△P(￡)<0；曲线c，P(七)<0且△P(t)>0；曲线D，P(七)>0且lae(k)>0；曲线E，e(k)*0且△e(t)*0。另外，过零点b和d的判别方法为：点b·e(k)=O且Ae(k)<0；t／‘图5-4闭环系统误差曲线Fig．5-4Errorcui"veofclose—loopsystem点d，e(k1=O且ae(k)>0。图54中，曲线段a～f对应闭环系统的动态响应过程。其中：曲线段a～b的下降速度反映闭环系统上升时间(r，)的大小：曲线段b～f对应闭环系统动态响应过程中的调整阶段，该曲线段的最大峰值或谷值反映闭环系统超调率(玎。)的大小，该曲线段的振荡时间反映系统调节时间(r。)的大小。就闭环系统的动态性能而言，我们通常希望闭环系统的仃。和r．越小越好，同时在不影 第五章基于图像矩的三维平动目标视觉跟踪控制算法响系统稳定的前提下，f，越小越好a冈此，根据文献【78】的仿真结果，PI参数(即，k，和f)调节规则的语言描述如F所述：曲线段A(不包括点b)：增加七。(七)、减小正(≈)，以增大输出量、减小t，过零点b：减小kp(露)、增大l(女)，为减小输出鲎、减小盯。做准备：曲线段B和C(不包括点d)：减小．i}。(女)、增大f(t)，以进一步减小盯。；过零点d：增加kp(七)、减小f(j})，为增大输出量、减小f，做准备；曲线段D：增加k。(k)、减小一(≈)，以进～步增大输出量、减小t；；曲线E：kp(．i})和Z(．i})保持不变-5．3．2．模糊调节器设计5．3⋯21语言变量与隶属函数隶属函数是模糊集合应用于实际问题的基础。目前隶属函数的确定在理论上还没有形成统一的方法，仍然停留在“经验+实验”的方法。然而，在实际应用中发现，不同方法确定出的不同隶属函数，虽然使模糊控制的动态过程有所差别，但在一定范围内它们都能让模糊控制达到其预期目标。换句话说，就是隶属函数的确定不是唯一的，至于是否有、或如何确定和证明“最优隶属函数”，还需要在理论上进一步研究。根据模糊统计方法得到的隶属函数通常为钟形，然而钟形函数计算量大。为简化计算，一般选择隶属函数形状为近似钟形的图形，如三角形或梯形{82】。(啦E；：j醪羽列’一’fb、EC(c)kC图5-5语言变量的隶属函数Fig．5-5Membershipfunctionsoflinguisticvariables．王■———7———习＼、，-．}＼’’j’t．。【一，7J：t：’“‘’。1”’，＼j12：．：二=：：j(d)TiC 申请卜海变通人学博十学位论文根据模糊调节规则，我们取系统误差E和误差变化Ec作为模糊控制器的输入语言变量，增益变化kpC和积分时间变化TiC为模糊控制器的输出语言变量。每个变量取三个语言僧‘负(N)”、“零(z)”、“正(P)”。语言变量E、EC、kc和TiC的隶属函数分别见图5-5(a)、(b)、(c)和(d)，其形状均为三角形。为实现模糊控制器的标准化，将语言变量论域归一化，令E、EC、k￡和Tjc的论域均为卜l，1](见图5-5)。因此，还需采用量化因子和比例因子对输入、输出量进行数值变换。5．3．2，2．量化因子与比例因子以矿(女)和Ae’(女)分别表示第k个采样时刻离散闭环系统的误差量及其误差变化量，设∥(t)和△e’(R)的取值范围如下：一(印∈【-‘，，2】(1I>o，，2>0)，Ae’(t)∈[_‘，吃】‘_>o，，2>0)(5．2)以口(||})和Ae(k)分别表示模糊控制器的精确输入量，k和k。分别表示P’(七)和△一(_j})的量化因子，则：g(≈)=％e‘(膏)，Ae(k)=七E△e’(|i})。mY-e(k)和Ae(k)的论域均为[一1。1]，则根据式(5．2)，量化因子可取值如下k=}，‘=max(／，，12)；k：_1．‘：ma)(“，t)(5．3)；，r以甜p@)与△Z(七)表示模糊控制器的精确输出量，七。和t。，分别表示Ak。(t)与△I(七)的比例因子，△t‘。(砷与△丁’，(k)表示PI参数的实际增量，则：Ak’，=kAk，，ATl，=k△Z(5．4)若假设奄。(女)和r(后)的取值范围是：kp∈【．i}¨h，k，一。】，f∈IT,一tlIiD一一。。]，则比例因子七。和k。可取值如下：k"=生：竺二笠：!!屯=—Zf—rtua_x---T—i_rain(5．5)设置量化因子和比例因子的好处在于，可通过适当调甓量化因子和比例因子来改善模糊控制的性能。下面简要介绍量化因子和比例因子对模糊系统动、静态性能的影响。65 第五苹基于图像矩的三维平动目标视觉跟踪控制算法就模糊系统静态性能而言，比例因子不影响系统的静态误差，系统静差的减少可通过增大量化因子(kf或≈口)实现。就模糊系统的动态性能而言：kE越大(或k“、越小)，系统的反应越灵敏、上升速率越快、超调量越大：但过大的kE(或过小的女H)将导致系统产生较大超调，较长的调节时间，甚至导致系统振荡；比例因子对于模糊系统动态性能的影响类似于常规控制系统中的比例增益，比例因子越大，系统的超调量越大，系统的响应速度也越快：比例因子过大会引起系统振荡，过小又将导致系统收敛缓慢。5．3．2．3．模糊规则表PI参数调节公式采用下列形式七，(尼)=七p(七一1)+七叩△后p(七)(5．6)Z(k)=I(七一1)+七。，△f(k)若七。(女)和l(||})的取值范围设定为kp∈【≈p一。。，kP一。。]-f∈阢一。，Z一。。]则PI参数初值可按下式取值：∽；垒《选硼旷毕(5，)在式(5．6)中，Ak。(七)和△互(k)为第k个采样时刻模糊调节器的精确输出量，与它们相对应的语言变量分别为kpC和TiC。根据公式(5．6)以及5．3．1小节所描述的PI参数调节规则，设计kDC和TiC的模糊调节规则表分别如表5一l和表5-2所示。注意，表中的N、Z、P分别表示负值、零和正值。表5-1k口c模糊调节规则>弋NZPNPN2NZPNP表5-2TiC模糊调节规则Table6-1fuzzytuningrulesfurtC>弋NZPNPNPZPZNPNPN模糊规则表述形式为：ifEisEiandECisd弓，thenkpCisCiandTiCisDi。 申请上海交通大学博士学位论文表5-1中的内容与表5-2中的相对应，形成PI参数的模糊调节规则。例如，表5-1中的第一行第一列内容与表5-2中的第一行第一列内容对应，形成一条模糊规则如下：ifEisNandECisN，thenkpCisNandTiCisP。5．3．2．4．模糊推理以“A--yB”表示蕴含运算(implication)，它表示从A到B进行推理的关系，即：ifxisAthenYisB。以算子“。”表示合成运算，“A’o(A斗B)”就表示根据已知条件和关系得出的结论，即：ifxisAthenYist3，nOWXisA’thenYisA’o(A寸B)。A—B的隶属函数定义为：∥』_．B(z，y)=儿(工)斗如(Y)。4’。(A—}B)的隶属函数定义为：p肌(』_+矗)(x，_y)=Y【∥^·(x)^p』_+自(x)】。算子“V”和算子“A”分别表示“取大(max)”和“取小(min)”。这里，我们果甩mamdan{方法(即“rain—m“”型推理方法)进行模糊逻辑推理。在mamdani方法中，备算子定义如下：爿叶B=AAB，AANDB=AAB，AORB=AvB，爿nB=AAB，AUB=AVB下面以两输入多规则的情况来说明mamdani推理方法。设有n条规则，其语言表达为：ifxisAlANDYisBi，thenZisCi，ifxisA2ANDYisB2，thenZisC2，ifxisA。ANDYisB。，thenzisC。，若已知条件为“xisA’andYisB”，那么总的推理结论C呵由以下计算过程推导出：首先。根据已知条件从不同的规则得到不同的结论，即：ifxisAiANDYisBi，thenzisCi；nowxisA’ANDYisBi，thenzisCi(f=1,2，⋯，n)采用蕴含与合成算子，结论C‘．可简要表示为：cJ=(A’4^7∞’)。[(彳，ANDB，)_C，】，i=172，⋯，m，C’，=[A’。(4，_÷C，)】fq[B0(E斗C，)]利用mamdani推理方法中的算子定义得C’。的隶属函数如下吲：67 第五章摹于图像矩的三维平动目标视觉跟踪控制算法／2<(z)2Y{∥。t(_)^[∥^(z)^∥c，(=)】}nY{∥v(y)^[∥E(y)^∥c．(=)】)={￥【∥一·(x)^∥4(x))^∥(j(=)n{Y【∥s1(y)^∥毋(y)])^∥ci(z)=【口^^∥c．(z)]n[aEA／2(j(z)】=口4Aa"EA／2c，(z)其中，口^2yL"』一(z)A／2』．(x)]称作模糊集合一。对模糊集合4，的适配程度(即隶属度)它实际上是集合A’与A，交集的高度，可表示为：口。=He劬r(爿’NA，)。同样地，口B。V【∥F(y)A／2目，(y)]可表示为：口E2Height(B’AB，)a然后，对所有结论求模糊逻辑和(Aggregatation)得到总推理结论C1。在mamdani推理方法中，模糊逻辑和采用⋯U算子。于是，总推理结论C’等于：C’=C’lUC'2U⋯UC’。。则模糊集合C’的隶属函数∥c·(z)表达为：∥c-(z)=∥c·，(z)Vpc-，(=)V⋯V／2ct．0)。5．3．2．5．解模糊判决方法经过模糊推理得到的控制输出是一个模糊隶属函数或者一个模糊子集，它反映了控制语言的模糊性。而实际控制则需要一个确定的控制量，因此必须从模糊输出隶属函数中找出一个晟能代表这个模糊子集的精确量，这就是解模糊判决(defuzzification)。目前，最常用的解模糊判决方法有最大准则法，重心法和最大隶属度平均法。这里，我们采用重心法(COA，CenterofAreaMethod)。所谓重心法，就是找出总推理结论C’的隶属函数曲线与横坐标围成面积的重心，其实质是找出控制作用可能分布的重心。其公式为：在实际计算时，通常将模糊输出的论域离散化，通过计算论域内所有采样点的重心来近似其中，n为模糊输出论域的量化等级。∑∥。．(毛)·zⅣ=上L———一∑∥，．(z，) 申请上海交通大学博士学位论文5．4．视觉跟踪控制算法在设计视觉跟踪控制算法之前，首先规定各变量符号如下Zd——理想目标深度；(M品’)d——zd上所成目标图像，其二值图像在坐标系{I)中的零阶图像矩(埘0)d——zd上所成目标图像，其二值图像在坐标系fP}中的零阶图像矩Z(O)——初始Ifl标深度；Z(k)——第k个采样时刻的目标深度{肘誓’(☆)，M。u．’(七)，肘品’(≈))_——z(七)上所成目标图像，其二值图像在坐标系(I)中的零阶和一阶图像矩集；{"。o(t)，肘们(后)，M00(j}))_一Z(后)上所成目标图像，其二值图像在坐标系(P)中的零阶和一阶图像矩集：(Ⅳg’(o)，Mg’(o)，一h／-00{t’(o))_一z(o)上所成目标图像，其二值图像在坐标系{I)中的零阶和一阶图像矩集：V。——坐标系{w)中的目标速度，v。=‰，％，，％rV——坐标系{w)中的摄像机速度，v=k，乃，疋r勺(动_第k个采样时刻的系统误差，它间接反映磊与z(七)之间的误差。[毛。@)’Yo。。(寿)r——第k个采样时刻，图像特征点在坐标系{I)申的坐标[0。一。)d，(儿一。)。】’——图像特征点在坐标系{I}的理想位置，本章设定【o。一。)。，(儿一。)，】’=【0，o】7。(5．8)E，(≈)——第k个采样时刻的系统误差，它反映k时刻的图像特征点位置与坐标系{I)原点之间的误差。即，Ep(女)=【oor—l。一。(女)Y。一。(^)r，由式(4，13)知删2∽e∥，卜[c桊一州。一筹，]7㈤。， 第五章基于图像矩的三维平动目标视觉跟踪控制算法5．4．1．目标深度控制算法由于目标速度7矗和％y对目标深度无影响，因此在设计目标深度控制算法时只需考虑目标速度％即可。当摄像机静止时，根据z(0)和％的方向，深度轴上初始条件可分为以下四种(见图5-6)：(A)z(O)>zd且Tog≥0：(B)z(O)zd且roz≤0：(D)z(o)乙jMoo(o)<(朋oo)dj勺(0)>0同理，有：z(o)O且AeQ(1)20，则为初始条件A；②g：e口(O)o且Ae。(1)≤0，则为初始条件c：④若。口(0)<0且△％(1)≥0，则为初始条件D-要使目标深度控制器在四种初始条件下都获得满意的控制效果，仅采用一种控制算法是比较困难的。因此，本章提出，在不同的初始条件下采用不同的控制算法。这样不仅可简化算法设计，而且可提高控制器性能。下面就研究在A、B、c、D四种初始条件下的目标深度控制算法，首先考虑目标匀速平动的情况。5．4．1．1．初始条件A下的算法设计律。为表述方便，我们先将式(4．10)写成以下形式(其中，e口的定义见式(5．8))：疋(女)=Kze口(|i})，Kz>0。当目标在三维空间匀速平动时，该控制律无法消除％(o。)·因此在控制后期，我们加入积分控制，形成PI控制算法。此外，为改善PI控制性能，我们还采用模糊调节器在线调节P1参数。并且，考虑到摄像机速度大小的限制，在算法中我们加入限幅控制。综上所述，在初始条件A下，我们采用受限“P+模糊自调节PI”控制算法对目标深度进行控制。所谓“P+PI”控制算法是指，控制前阶段采用P控制算法，控制后阶段采用PI控制算法。受限“P+模糊自调节PI”控制算法描述如下：假设摄像机速度J已l≤A，若k(t)l>TH，，则也(七)=≈，：％(七)，k>0乃c栌{。弘。笔熬．#。澎葛>4 塑至至苎王里堡塑堕三壁!垫璺量塑堂墅堕笙堂簦鲨否则㈣=kpz㈣％㈣+去和川，Kpz>0fH：(≈)，|H：(j})I≤A以妁。is鸱㈣M套∽h∥州㈣l州(5．11)式(5．10)和式(5．11)，分别称之为受限P控制律和受限模糊自调节PI控制律。其中式(5．11)中的参数七衄(女)和％(≈)由式(5．6)计算出。而式(5．6)中的参数△女P(女)和△正(七)，即为模糊调节器的精确输出量。关于PI参数模糊调节的详细讨论请见6．3小节。另外需注意，由于真正的PI控制是从2T时刻开始(在kTl★“l采样时刻，系统判断初始条件)，因此误差积分应从271时刻开始计算。经过多次仿真实验，受限“P+模糊自调节PI”控制算法中的阈值m．取为：THI=7。关于目标深度控制器中的模糊调节器的参数取值说明如下(1)模糊调节器的精确输入量可通过式(5．12)计算出，即P(k)=％％(t)，Ae(k)=kecAe口(女)(5．12)其中·Ae口(女)=eQ(女)一eQ(_】}一1)。(2)仿真实验表明，若k。(七)J≤7时采用常规PI控制器，Ne口(t)和△％(七)的变化范围分别为％(≈)∈卜5，7】和Ae。(≈)∈[-2，1．5】。于是，根据式(5．2)，模糊调节器的量化因子初值可取为：k：三一o．1t。：三：o．5。(3)仿真实验表明，若1％(七)I≤7时采用常规PI控制器，则七朋>30或正z0；曲线段B，eI(七)>0且△∥(七)>0曲线段C，ef(|i})>0且△e’(≈)<0曲线段D，eI(1j})<0且Ae’(．i})<0曲线段E，et(≈)z0且△一(￡)z0。此外，过零点b和d的判别方法如下：点b，P’(t)=0且△e’(女)>0点d，eI(．i})=0且△一(J】})<0。图5-8条件B下的闭环系统误差曲线Fig5·8Error“rveofclose-loopsystemintheconditionofB比较图5-8与图5-4中的曲线，我们发现，在对应于同一系统响应阶段的曲线段上，∥(尼)与P(女)符号相反，△e‘(t)与Ae(k)符号也相反。即；(sgn[e’(≈)]=一sgn[e(k)])and(sgn[Ae’(≈)]=一sgn[Ae(k)])。例如．在图5-8与图5-4中，曲线段A都对应着系统响应过程中的上升阶段，图5-4中曲线段A的判别依据为“e(k)>0IjAe(k)<0”，而图5-8中曲线段A的判别依据为“Pl(々)<0且△一(≈)>0”。其余曲线段，情况类似。要使模糊调节器能够正确根据闭环系统谡差曲线止确调用模糊规则，就必须确保模糊控74 生堕圭塑奎望查兰壁主堂堡笙塞一制器获得的系统误差曲线，其形状与图5-4中曲线形状相似。换句话说，就是使图5-8的系统响应阶段判别方法等同于图5-4的系统响应阶段判别方法。为此，在初始条件BF，我们将模糊调节器的量化因子设为负数(见图5-9)。图5-9在条件B下获取模糊调节器的输入变量Fig．5-9Gettinginputsoffuz巧tunerintheconditionofB在初始条件B下，采用受限“P+模糊自调节PI”控制算法对平动目标进行深度控制的仿真结果如图5．10所示。(d)图5-10受限“P+模糊自调节PI”控制算法在条件B下的仿真结果Fig5‘10Thesimulationresultsoflimited”P+fuzzyauto·tuningPI”controlalgorithmintheconditionorB75岔i是．1l。1) 第五章基于图像矩的三维平动目标视觉跟踪控制算法图5-10的仿真条件为：①采样时间间隔r=O．1s；②zd=600ram，(Moo)d=7310；③Moo(0)=10506④摄像机速度匪I≤lOOmm／s；⑤目标速度为Toz=一30(mm／s)。⑥模糊调节器参数≈￡=一O．11，≈口=一0．3，k。=12，k。，=O．3。分析图5-10(a)和(b)知：当目标在三维空间匀速平动时，在初始条件B下，只要模糊调节器的量化因子取负值，采用受限“P+模糊自调节PI”控制算法对平动目标进行深度控制就可满足视觉跟踪系统在目标深度方面的要求。s．4．1。3．初始条件C或D下的目标深度控制算法在初始条件C和D下．受限“P+固定参数PI”控制算法和受限“P+模糊自调节PI”控制算法的仿真结果比较分别见图5-11和图5-12。其中，z1、Tzl为受限“P+固定参数PI”控制算法产生的仿真曲线，z2、Tz2为受限“P+模糊自调节PI”控制算法产生的仿真曲线。图5-11的仿真条件为：①采样时间间隔r=O．Is；②乙=500mm，(M00)d=10506：③Mo。(0)=7310：④摄像机速度眨l≤lOOmm／s；⑤目标速度z＆=一30(mm／s)；⑥模糊调节器的量化因子和比例因子为：k￡=0．11，女口=O．3，k。=12，k。=0．3。(a)目标深度(a)targetdepth№(b)zw轴上的摄像机速度(b)cameravelocityofZw-axis图5-11受限“P+固定参数PI”控制算法与受限“P+模糊自调节PI”控制算法在条件c下的仿真结果比较Fig5·11Thesimulationresultcomparisonoflimited”P+fixcciparamctrPI”controlalgorithmandlimited”P+fuzzyauto-tuningPl”controlalgorithmintheconditionofC誊E}飞_T-d 主堕．!查奎望，大兰堕主兰竺堡塞一圈5-12的仿真条件为：①采样时间间隔t=O．1s：②乙=600ram，(肘00)d=7310：③M00(O)=10506④摄像机速度眨I≤lOOmm／s；⑤目标速度7＆=30(mm／s)。⑥模糊调节器的量化因子和比例因子为：kE=-0．11，七∞=一0．3，k。=12，k。，=0．3。在图5-11和图5-12中，固定P1控制算法的参数取值相同，为：k。=14，巧=O．5。在图5-11和图5．12中，模糊自调节PI控制算法的Pl参数初值也相同，为：￡。(0)=15，I(0)=0．4-(a)目标深度(a)targetdepth魄(b)zw轴上的摄像机速度(b)cBmcraveloeityofZw-axis图s．12受限“P+固定参数PI”控制算法与受限“P+模糊自调节PI”控制算注在条件D下的仿真结果比较Fig5·12Thesimulationresultcomparisonoflimitccl’’P+fixedparametrPI”controlalgorithmmadlimited”P+fuzzyauto-tuningPI”controlalgorithmintheconditionofD仿真结果表明，在初始条件c或D下，受限“P+模糊自调节PI”控制算法使得系统在多次振荡之后才趋向稳定．其控制性能远不及受限“P+固定参数PI”控制算法。究其原因，是因为：在初始条件C或D下，控制初期的受限P控制算法使得摄像机与目标相向运动或相离运动(见图5-6)，}A而4EleQo)I快速下降至零，系统的上升时间较小。在系统响应的上升阶段(对应于图5-4的曲线段A)，模糊调节规则要求☆。(≈)增加且f(t)减小，这使得本已很小的上升时间变得更小．而非常小的上升时间往往意味着系统不稳定。77 第五章基于图像矩的三维平动目标视觉跟踪控制算法因此，当初始条件为条件c或D时，我们采用受限“P+固定参数PI”控制算法对平动目标进行深度控制。5．4⋯14总的目标深度控制算法总的目标深度控制算法描述请参见图5．13。(1)判断深度控制的初始条件为条件A、B、C、或D：(2)如果为条件A，则置模糊调节器的量化因子为正值，采用受限“P+模糊自调节Pl”控制算法：(3)如果为条件B．则置模糊调节器的量化因子为负值，采用受限“P+模糊自调节Pl”控制算法；(4)如果为条件c或D，采用受限“P+固定参数PI”控制算法；图5-13总的目标深度控制算法描述Fig5‘13Thedescriptionofthewholetargetdepthcontrolalgorithm设：①采样对闻间隔I=0．1S：②roz=30sin(0，08t)mrrds；⑤陵{slOOmm／s。当目标在其运动空间的ZH，轴上存在缓慢变速平动时，总的目标深度控制算法的仿真结果如图5．14所示。(c)(D图5-14当目标速度丁矗等于30sin(O．080mm／s时，总的目标深度控制算法的仿真结果F塘·5。14n。5i⋯lationresultsofthewholetargetdepthcontrolalgorithm，whenrozis309inf0．osomm／s 申请上海交通大学博士学位论文图5-14(a)～(c)为初始条件“z(o)>Zd”下的目标深度控制仿真衄线，初始条件为①Zd=500ram，(M00)d=10506：②M00(O)=7310。图5-14(e)～(f)为初始条件“z(o)0耳(七)=一万1盼P她)一乃(帅。(％K。>。其中：k，(≈),ey(七)P为第k个采样时刻抽取的图像特征点在坐标系{I)中的位置误差(其估算方法参见式(5．9))；艮控制图像特征点位置误差的收敛速度，Kc越大、k，(t),ey(七)r收敛至零的速度越快·由图5-2知，当目标在三维空间(坐标系{w))的X∥轴和％轴上平运时，式(4．17)不能消除静差Ep(a。)。为消除静差五。(o。)，我们采用PI控制算法控制图像特征点位置。令：“炉一去隧q(炉驰)％一始)】，“啦一万1瞬吖炉驰h。删(5．13)因为，[(％一。)。，(_y。一。。)，]7=[o，oF， 第五苹基于图像矩的三维平动目标视觉跟踪控制算法所以，p。(量)，巳(Ji})r与k；(≈)，P，(尼)]7满足下列关系式：鼬nq㈣卜l-TKo+TAk)一生斧p¨㈤卜上式表明：在疋(_j})≠一-K。的条件下，若【P。(。)，P。(。。)r等于【0，oy，则k，(c。),ey(o。)]『必定等于【0，or。为确保(K。+咒(女))≠0，必须使K。>l疋I。本章中，眨l。。=lOOmm／s，因此只要K。>100(这里取K，=500)就可将e。(女)和P，(|i})视为反映g，(_j})和ey(t)是否为零，即反映图像特征点是否到达坐标系(I}原点的系统误差。根据式(5．1)，设计图像特征点位置的PI控制律如下：Tktk乙(≈)=七，姒≈)+}∑巳(朋，弓(￡)=女p¨女)+争∑氐(州(5，14)1，Ⅱj=o1Ⅲj=os．4．2．1．图像特征点在x轴上的位置控制算法根据e，(o)和，k的方向，x轴初始条件也可分为四种：(A)ex(O)≤0且z矗≥0；(B)P。(O)≥0且丁k≤0：(c)e。(O)≤0且正吖s0：(D)e，(0J1≥0且正硝≥0。系统误差增量：Ae，(≈)=ex(☆)一ex(≈一1)，Ae。．(七)=P。(k)一P。(七一1)。实验表明：摄像机静止时，如果目标速度7矗(女)≥0则△P，(七)≤0，如果7矗(☆)蔓0则缸，(_|})≥0。因此，当摄像机静止时，由式(5．13)可推知：若P，(O)≤0则B。(o)≥0若△P，(七)≤0$IiAe。(七)≥0；若已，(O)≥0则e。(0)≤0，若Ae。(后)≥0则Ae。(七)≤0。于是。设计x坐标轴初始条件判别方法如下(1)在kTII-01采样时刻。令摄像机静止．同时采癣数据Mlo(O)、M100)，根据式(5．9)和(5．13)计算出eu(O)、e。(1)、和Ae。(O)(2)根据e。(0)、e。(1)、和Ae。(O)的值判别初始条件：①若e。(O)20且Ae。(1)≥0则初始条件为条件A；②若e。(0)<0且Ae。(1)s0，则初始条件为条件B：③若g。(O)≥0且△P。(1)<0，则初始条件为条件c：④若e。(0)<0Ae。(1)>0，则初始条件为条件D。80 申请上海交通大学博士学位论文对于不同的初始条件，我们采用不同的PI控制算法控制图像特征点在x轴上的位置。x轴上图像特征点位置控制算法描述请参见图5．15。仿真实验表明：①用5．3小节所述的模糊调节器同时调节式(5．14)中的增益和积分时间参数，容易使系统振荡：②增益对系统性能的影响远大于积分时间。因此，对于控制律(5．14)，我们考虑固定其积分时间，而其增益由模糊调节器根据表5．1所示的模糊调节规则进行在线调节，从而形成增益自调节PI控制律。注意，除了输出量个数及只使用表5-1中的模糊规则以外，用于增益自调节的模糊调节器设计与5．3小节的模糊调节器设计类似。(I)判别x或Y坐标轴上的初始条件(为条件A、B、C、或D)：(2)如果初始条件为条件A，则置模糊调节器的量化因子为正值，采用受限增益自调节PI控制算法：(3)如果初始条件为条件B，则置模糊调节器的量化因子为负值，采用受限增益自调节P{控制算法：(4)如果初始条件为条件C或条件D，则采用受限固定参数PJ控制算法；其中，模糊调节器的量化因子kE根据lcll(2)l的大小取值：ifIeIl(2)J≥15thenkE=004，clSekE卸．I．图5，15图像特征点位置控制算法描述Fig．5．15Thecontrolalgorithmdescriptionoftheimagefeaturepoint'sposition设摄像机速度jLl≤A，则工轴上图像特征点位置控制器的受限增益自调节P1控制律如式(5．15)所示：H。(J})=||}Ⅲ(Jj})[P。(女)+FIs∑P。(川，．i}，>omp1诳J-2f也(七)，1日。(．i})『≤Ao(2)2{s驴(日。(七))．4，(圭气(肋一巳(女)，j风(t)l>爿(5．15)其中，参数j}。。(七)由式(5．6)计算出，式(5．6)中的参数础，(．i})为模糊调节器的精确输出量。注意，由于真正的控制是从2T时刻开始(kTI枷_1采样时刻，系统判断初始条件)，因此误差累加应从2T时刻开始。8 第五章基于图像矩的三维平动目标视觉跟踪控制算法仿真实验表明，在常规PI控制算法的作用下．k。>8将引起振荡，因此限定t，。(女)的取值范围如下：量。(女)∈【l，8】。5．4．2．2．y轴上图像特征点位置控制算法Y轴上图像特征点位置控制算法与x轴上图像特征点位置的控制算法基本类似，这里只说明几点，其余就不再赘述。设Aey(女)：ey(％)一ey(七一1)，Ae，(_i})=e，(≈)一e，(≈一1)。(1)根据P，(O)和Tor的方向，y轴上初始条件也分为四种(见图6-6)：(A)P，(O)≤0且Toy≥0；(B)ey(0)≥O且％y≤0；(c)ey(0)sO且Tors0；(D)e，(0)≥O且Toy≥0。(2)实验表明：当摄像机静止时，如果目标速度Tor(々)≥0则血。(七)≤0，如果7赢(妨≤0则△e。(≈)20。因此，将x轴初始条件判别方法中的eu(o)、e。(1)和Ae。(o)对应地替换为P。(0)、e，(1)和△P，(0)即得y轴初始条件判别方法。(3)当已知M01(0)和Mol(1)时，e，(O)、P，(1)和△口，(O)可根据式(5．9)及(5．13)估算出。(4)Y轴上lgl像特征点位置控制算法如图5-15中所述。(5)将式(5．15)中的巧、H。、七，、f。和e。对应地替换为耳、H。、≈P，、Z。和P。t即得Y轴上图像特征点位置控制算法中的受限增益自调节PI控制律。(6)与女。(女)相同，女，，(女)的取值范围也限定在[1，8】。5．5．视觉跟踪控制算法的仿真结果设采样时间间隔t=o．1s，摄像机速度幅值f巧I、阢I、『己f均不大于lOOmm／s。目标深度控制算法中的参数取值如下：①模糊自调节PI参数：丘，(o)=15，互(o)=o．4：≈，(七)∈【5，25]，f(々)∈【o．15，1】 申请上海交通大学博士学位论文②模糊调节器的比例因子：k。=12，k。，=0．3③模糊调节器的量化因子：lk￡l=o．11，IkⅣI=0．3④固定PI参数：k。=14，一=0．5。图像特征点位置控制算法中的参数取值如下①模糊自调节P1参数：一。2Z，=0．5；女，(O)=≈，，(o)=5，七，(七)与七，。(七)的取值范围相同，均为【l，8】：②模糊调节器的比例因子：k。=3，k。，=0．3③模糊调节器的量化因子：agle(2)[取[k￡}=0．040r0．1(P为P。、e。)，fk∞l=0．2④固定PI参数；k。=4，f=0．5。设仿真前的已知条件为；①视觉跟踪系统的控制目标为z。=500mm，(xo_oe)d，(儿一。)。r=fo，or②当Zd等于500ram时(M00)d等于10506；③跟踪初始条件函鬈’(o)，髟矧(o)，肘心(o)『=[182750，．36550，7310]7。(e)图5·16Zd等于500mm时，三维匀速平动Igl标视觉跟踪仿真结果fig-5‘16Thesimulationresultsofvisualtrackingatargetwith3Dconstantvelocity,whenZdis500rnm—r31．r4{：}3lf 第五章基于图像矩的三维平动目标视觉跟踪控制算法当目标在三维空间匀速平动爿0‰，％r，7＆r=130,-30，30】7时，在目标深度控制算法以及图像特征点位置控制算法的共同作用下，视觉跟踪系统的仿真结果如图5—16所示。当目标在三维空间变速平动且7矗=7注=30sin(0．04t)、％r=一30sin(o．04t)时，在目标深度控制算法以及图像特征点位置控制算法的共同作用下，视觉跟踪系统的仿真结果如图5．17所示。髓吸图5-17zd等于500ram时，三维变速平动目标视觉跟踪仿真结果ng5·17Thesimulationresultsofvisualtrackingatargetwith3Dvaryingvelocity,whenzdis500ram设仿翼前的已知条件为：①视觉跟踪系统的控制目标是zd=600ram，(Xo_ee)d，(K—d)。r=【o，o】7：②当乙等于600ram时(M00)d等于7310；③跟踪初始条件瞳g’(o)，肘拶(o)，^，品’(0)r=[262650，．52530，10506]7。当目标在三维空间中匀速平动且口麓，易r，71口zr=[30，一30，一30]7时，在目标深度控制算法以及图像特征点位置控制算法的共同作用下，视觉跟踪系统的仿真结果如图5-18所示。当目标在三维空间中变速平动且‰=％=30sin(0．04t)、ro，=-30sin(0．04t)时，在目标深度控制算法以及图像特征点位置控制算法的共同作用下，视觉跟踪系统的仿真结果S4 申请上海交通大学博士学位论文如图5—19所示。(b)图5·18zd等于600ram时，三维匀速平动目标视觉跟踪仿真结果69．5-18Thesimulationresultsofvisualtrackingatargetwith3Dconstantvelocity,whenzdis600mm图5-19zd等于600mm时，三维变速平动目标视觉跟踪仿真结果fig．5-19ThesimulationresultsofvisuaItrackingatargetwith3Dvaryingveloci吼whenzdis600mm分析图5-16～图5．19，得以下结论；假设目标为一始终垂直于摄像机光轴的平面刚体，①当目标在三维空间中匀速平动时，本章提出的目标深度控制算法和图像特征点位置控制算法可使视觉跟踪系统获得满意的动静态性能，由5．16和图5-18知，系统静差(e0(oo)和Ep(o。))为零，其动态响应也较迅速。这时，视觉跟踪算法不仅使摄像机速度很快地跟踪上目标速度，而且使目标深度和图像特征点位置很快到达理想值；③当目标在三维空间中缓慢地变速平动时，本章提出的目标深度控制算法和图像特征点位置控制算法能够使摄像机速度很快地跟踪上目标速度，但是目标深度和目标特征点位置只能收敛于理想值附近，即系统静差(eQ(∞)和E。(。。))近似为零，仿真实验表明Iz(∞)一z。l≤lmm、Iex(。)1IrzI，k。，e，r=[o，or就一定可推知p，，e，r=fo，or。设计图像特征点位置控制算法时，我们也将初始条件分为A、B、C、D四种，并根据不同的初始条件采用不同的PI控制律。仿真表明，基于误差向量[P。，P，r的PI控制律，其积分时间对控制性能的影响远不如增益。因此，在初始条件A或B下，仅对增益进行模糊调 申请上海交通大学博士学位论文节以优化闭环系统的动态响应过程，即采用增益模糊自调节PI控制律。当初始条件为条件c或D时，闭环系统的上升时间较短，这时模糊调节反而会恶化闭环系统的动态响应过程，因此，在初始条件C或DF，采用参数固定PI控制律。仿真实验表明．当目标在三维空间中匀速平动时，本章提出的视觉跟踪控制算法使闭环系统获得了良好的动静态性能，它不仅能使摄像机速度很快跟踪上目标速度，而且可使目标深度和图像特征点快速收敛至理想值。当目标在三维空间中缓慢地变速平动时，本章提出的视觉跟踪控制算法虽然可使系统获得怠好的动态性能，但只能使系统静差(eQ(。o)和p，(∞)，e，(∞)】7)近似为零。也就是说，当目标在三维空间中缓慢地变速平动时，本章提出的视觉跟踪控制算法可使摄像机速度很快跟踪上目标速度，然而，目标深度及目标特征点位置只能在其理想值附近振荡。仿真表明，当目标在三维空间中缓慢地变速平动时，在本章提出的视觉跟踪控制算法的作用下，Iz(oo)一z。l≤lmm、lex(m)Islpixel、fey(。。)J≤lpixel，视觉跟踪系统近似达到控制目标。87 申请J二海交通大学博士学位论文第六章总结与展望传统的基于图像的视觉伺服(IBVS)方法一般以局部图像特征作为视觉伺服系统的图像特征，其控制律设计的核心是寻找图像雅克比矩阵(即三维摄像机运动与二维图像特征运动之间的映射关系矩阵)局部图像特征的缺点是需要进行图像特征匹配，且易受图像噪声干扰另外，传统的基于图像的视觉伺服方法往往使得视觉伺服问题成为一个复杂的非线性控制问题，并且需在线求取目标深度为克服上述缺点，论文基于以F条件：①目标为一垂直于摄像机光轴的平面刚体；②目标和摄像机在其运动空间只能平动，研究一种新的基于图像的视觉伺服方法论文主要作了如下工作：提出以二值目标图像的零阶和一阶图像矩作为图像特征论文从假设条件和图像平动仿射模型出发，推导出引理1(即，目标深度仅与二值目标图像的零阶矩相关)，并用实验加以验证然后，论文基于引理1，选择二值目标图像的零阶和一阶图像矩作为视觉伺服的图像特征图像矩的优点是，它对图像噪声有较强的鲁棒性，且其提取方法简单针对原始目标图像的特点，论文提出图像二值化方法并给出实验结果就图像特征的提取方法，论文提出一种迭代计算零阶和一阶图像矩的快速算法针对静止目标的视觉伺服问题，论文提出一种新的基于图像矩的视觉伺服方法此外，为进行仿真实验，论文分析了视觉伺服系统中的受控对象，给出其数学模型并用实验加以验证当目标静止且摄像机运动只包含平动时(设摄像机线速度为v=阢，乃，乏r)，深度轴上的摄像机平动速度(易)对图像影响最大因此，可考虑将乃从摄像机线速度中分离出来，单独进行控制基于这一思路，论文设计出视觉伺服控制结构和静止目标的视觉伺服算法视滥伺服算法分为两部分：目标深度控制算法和图像特征点位置控制算法目标深度控制算法控制疋，确保目标深度逐渐趋于理想值图像特征点位置控制算法控制巧和乃，确保目标逐渐投影于图像中央其中，目标深度控制算法是一基于零阶图像矩的简单线性控制律仿真实验表明，对于静止目标，该控制律能有效地控制目标深度渐进地趋向理想目标深度论文以目标中心投影点作为特征点，裉据图像雅可比矩阵(这时，图像雅克比阵为对角阵)和Lyapunov函数设计图像特征点位置控制算法选择目标中心投影点作为特征点，是由于其位置坐标可直88 第六章总结与展望接由二值目标图像的零阶和一阶图像矩估算出，并且该点的唯一性使得无需进行特征点匹配仿真实验表明，在摄像机的焦距和比例因子未精确标定的情况下，图像特征点位置控制算法和目标深度控制算法相结台完全可以满足视觉伺服要求与传统的基于图像的视觉伺服方法相比，论文提出的基于图像矩的视觉伺服方法无需解决非线性控制问题，也无需在线计算目标深度，因而简单实时性强针对三维平动目标的视觉跟踪问题，论文将跟踪前的初始状态分为四种情况，并针对每种情况设计相应的PI控制算法此外，论文还提出了初始状态的判别方法，设计了PI参数模糊调节器三维平动目标视觉跟踪研究实际上是静止目标视觉伺服研究的延续，两者的假设条件和控制要求相同因此，只需对静止目标视觉伺服控制算法加以改进，原有的控制系统就可应用于三维平动目标的视觉跟踪之中控制算法的改进主要体现在两个方面：①加入积分控制和限幅控制；②分析初始状态属于何种情况，以决定是否引入参数模糊调节机制仿真实验表明，改进后的控制算法简单可行，当目标在固定场景中作慢速三维平动时，该算法可使目标深度误差最终被控制在l毫米以内，特征点位置误差最终被控制在1个像素以内，从而满足了视觉跟踪要求近年来，图像矩作为一种简单的全局图像特征，越来越受到人们的关注特别是由于图像矩中存在着对图像平穆旋转比例变换甚至散焦的矩不变量，因此它被广泛地应用于二维形状提取和目标识别巾将图像矩应用于视觉伺服之中是一个较新的尝试，本课题还处于初步研究阶段，许多工作还有待于进一步开展伊J女口：(1)当目标与摄像机之间的相对运动包含转动时，一般认为可从目标图像的一阶或二阶图像矩中获得相对转角但转动角度与图像矩之间到底存在怎样的关系，以及如何基于图像矩设计摄像机转动控制算法?(2)当由于种种原因使摄像机对焦不准，从而使目标图像成为散焦图像时，如何寻找散焦图像的矩不变量，并将它们应用于视觉伺服控制中?(3)作者在研究基于图像矩的视觉伺服方法时，t为将主要精力放在视觉伺服算法的研究上，采用的是背景均一的简单场景但在实际应用中，目标往往处于较复杂的场景中，因此，如何对复杂图像进行分割井进行目标识别，还需要做深入的研究相对于传统的IBVS方法，基于图像矩的视觉伺服方法简单易彳i实时性强然而，基于图像矩的视觉伺服方法是一项新的研究课题，要进入实际应用还有很多研究工作有待完成随着该方法的不断完善与发展．其优点将会日渐显现，从而得到广泛的应用89 申请上海交通大学博士学位论文参考文献【1】I．MasakiThreedimensionalvisionsystemforintelligentvehiclesProc．Inter．ConeonIndustrialElectronics．Control，madlnstrumemation，1993，no3：1712—1717【2J2EKAllenandATimcankoAutomatedtrackingandgraspingeramovingobjectwitharobotichand．eyesystem．IEEETrans．RoboticsAutomat．，1993、v01．9．no．2152-165【3】C．ESmithandN．P．PapanikolopoulosGraspingofstaticallmovingobjectusingavision—basedcontrolapproachJournalofintelligentandroboticsystems．1997．vol19：237—270【4lEBurdetandJLuthiger．Adaptationofthevisuo-motorcoordination．Proc．IEEEConeRobotics．Automat．April．1996：2656—266I．t51【61【1o】【12】113]114】【15】f16]【17]BEspiaxt，F．ChonmeRe，andP．Rivts．Anewapproachtovisualscvoinginrobotics．1EEETransRoboticsAutomat．，1992，v01．8：312·326．A，CastanoandS．A．Huichinson．Visualcompliance：task-directedvisualservocontrolIEEETronsRoboticsAutomat．1994．vol10：344-342．K，Hashimoto．T．Ki，OtO，T_Ebine，andHKimura．Manipulatorcontrolwithimage·basedvisualservoinProc．IEEEConfRoboticsAutomat，19912267-2272．N．EPapanikolopouloasandEK．KhoslaAdaptiverobotvisualtracking：theoryandexperiments．IEEETrans．Automat．control，1993，38(3)：429-445．NEPapanikolopoulos．Visualtrackingofamovingtargetbyacameramountedonarobot：acombinationofvisionandcontrolIEEE"rransRobotAutomat，1993，9(I)14·35．S．B．Skaas．ThreedimensionalcameraspacemanipulationInt．LRobot．Res．，1990，9(4)：22-39J．TFeddemaWeigIltedselectionofimagefeatureforresolvedratevisualfeedbackcontrolIEEETrans．RebelAutomat．．1991．7：31-47．B．YashimiandP．K．Allen．Activeuncalibmtcdvisualservoing．ProcIEEEIntConERoboticsandAutomation，May1994，SanDiego，CA：156-161贾云得机器视觉【M】北京：科学出版社，2000W．JWilsonRelativeend-effactoreonlrolusingCartesianposition·basedvisualservoingIEEETrans．RobotAutomat，1996，12(10)：684-696NHollinghurstandR．Cipolla．Uncalibmtedstereohandeyecoordination，ImageandVisionComputing,1994，12(3)：187-192．S．WijesomaEye-to-handcoordinationforvision-guidedrobotcontrolapplianceIntJ．RobotRes．，1993，12(1)：65-78，PJ．Burr-ObjecttrackingwithamovingcamcmIEEEWorkshoponVisualMotion，Irvine，March1988，CA： 垄耋三兰；鳖一2-12Peter．CorkeVideo．ratevisualservoingforsensory-basedrobotics，TechnicalReport，GraspLaboratory,DepartmentofComputerandInformationScience．UniversityofPennsylvania,PhiladelphiaLDavisVisionandPlanningontheConnectionMachine．ProcImageUnderstandingWorkshop，1989：631．639．GVerghase．Real·TimeMotionTrackingofThree-DimensionalObject．Proc，IEEEInt．ConfRoboticsAutomat，Cincinnati，OH，May1990．)．Feddemaand0．Mitchell．Vision-guidedservoingwithfeature-basedtrajectorygenerationIEEETransRobotAutomat．，1989，v01．5：691-700KHosadaandM．AsadaVersatilevisualservoingwithoutknowledgeoftrueJacobianProcIReS94，Sept1994：186·191C．ColomboAffinevisualservoing：aframeworkforrel“．ivepositioningwitharobotPmc．IEEEIntConf．RoboticsAutomationICRA'95，Nagoya,Japan，May1995：464-471C．ColomboandB．AllottaImage-basedrobottaskplanningandcontrolusingacompactvisualrepresentationIEEETran．system．man．Andcybemetics，PanA，Jan1995，29(1)：92-100．PatrickRivesVisualservoingbasedoncpipolargeomety．Pracofthe2000IEEF_．／P,SJIntemationalConferenceooIntelligentRobotsandSystems，2000：602·607．1iricMarehand,PBouthemyandFChaumettel．Robustreal-timevisualtrackingusinga2D一3Dmodel·basedapproachIEEE，1999：262--268．[27】E，Malis，F．ChaumetteandsBoudetPositionacoarse-calibatedcanlClltwithrespecttoanunknownobjectby2-1／2-Dvisualservoing．Proc．IEEEIntCon￡RoboticsandAutomation，Leuven，Belgium，May1998：1352-1359【28】O．Faugera．sandF．Lustman．Motionandstructurefrommotioninapienewiseplanarenvironment．IntJPaRemReeognit．Arif．Intell．，OCt．1988，v01．2，no．3：485·508【29】E．Malls．2-1／2-Dvisualservoing．IEEETrans．roboticsandautomation,Apri1999，v01．15，no．2：238·250【30lI．Haritaoglu,DHarwood，andL．W．Davis．Real-timesurveillanceofpeopleandtheiractivities．IEEETransPatternAnalysisandMachineIntelliganee,2000，22(8)：809-830．【31】s．MeKenns．Trackinggroupsofpeople．ComputerVisionandImageUnderstanding，2000，80(1)：42·56[32】刘永信，魏平和侯朝桢．视频图像中运动目标检测的快速方法仪器仪表学报，2002，23(5)：163--166，176．【33】ALipton，H．FujiyoshiandR．PatilMovingtargetclassificationandtrackingfromreal·timevideoProc．。IEEEWorkshoponApplicationsofComputerVision，Princeton，NJ，1998：8-14[34】DMeyer,J．DenzlerendHNiemann．Modelbasedextractionofarticulatedobjectsinimagesequeuecsfor9IⅢ坶如甜舱翦M巧拍 申请上海交通大学博士学位论文gaitanalysisProc．，IEEEInternationalConference0nImageProcessing，SantaBarbara,California,1997：78—81【35】J．Barron，DFleetandS-BeaucheminPerformanceofopticalflowtechniquesInternationalJournalofComputerVision，1994，i2(1J：42-77．【36]S．Hutchinson．ATutorialonVisualServoControlIEEETransactionsonRoboticsandAutomation，1996，v01．12：651-670．[371K．BenameurandER．Belanger．Graspingofamovingtargetwitharobotichand-eyesystemInProceedingsoftheIEEE／RSJinternationalconferenceonintelligentrobotsandsystems，1998：304-310．138】T．Y．TaiandTS．HuangUniquenessandestimationof3Dmotionparametersofrigidbodieswithcurvedsurface[J]，IEEETrans．onPAMI，1984，PAMI·6(1)：13-27．f39]薛定宇，项龙江和司秉玉视觉伺服分类及其动态过程．东北大学学报(自然科学版)，2003，24(6)：543—547．【40】N．R．PalandS．K．Pal．Entropythresholding．Signalprocessing，1989，16：97-108．[4HBrinkA．D．Thresholdofdigitalimageusingtwo-dimensionalentropy．PatternRecognition，1992，25：803-808142]李立源和陈维南．基于二维灰度直方圈最佳一维投影的图像分割方法．自动化学报，1996．22：315-322．【43】龚坚、李立源和陈维南．=维熵闽值分割的快速算法东南大学学报，1996，7：31．36【441侯格贤和吴成柯．一种结合遗传算法的自适应目标分割方法，西安电子科技大学学报，1998，25(2)：227．230145]裴继红和谢维信．直方图模糊约束FCM聚类自适应多阅值图像分割．电子学报，1999，27(10)：37-42．f46】沈定刚基于神经网络的自适应图像分割．上海交通大学学报，1994，28(增刊)：39．45【47】S．OemanandD．Geman．Stochasticrelaxation，GibbsdistributionandtheBayesianrestorationofimagesIEEETrans．PaaemAnalysisandMachineIntelligence1984，6(6)：721·741．f48】H．Derin，H．Elliott,CrisciandDGraman．Bayessmoothingalgorithmforsegmentationofbinaryimagemodelsbyrandomfields．IEEETrans．PatternAnalysisandMachineIntelligence1984，6(6)：70％720，【49】NialFrielS．Molchanov．AnewthresholdingtechniquesbasedOllradomsee．PanernRecognition1999．32：1506-1517【50】魏波点时空约柬图像目标跟踪理论与实时实现技术研究博上论文电予科技大学，成都．200092 参考文献【51】Jian-huaXuandJim-weiZhengImagetextureanalysetechniquesforoceanwaveimage．IEEEInternationalConferenceoilImageProcessingSigaporeSeptember1989：5-8【52】P．AndreyandP．TarronxUnsupervisedsegmentationofMarkovrandomfieldmodeledtexturedimageusingselectionrelaxationIEEETrans．PaaernAnalysisandMachineIntelligence1998，20(3)252-262【53】BB．ChandhuriandNimpamsa妇TexturesegmentusingfractaldimensionIEEETransPatternAnalysisandMachineIntelligence1995，17(1)：72·7754】R．Jain，andH．H．Nagel．Ontheanalysisofaccumulationdifferencepicturesfromimagesequenceofrealworldscence．IEEETrans．PatternAnalysisandMachineIntelligence，1979，1(1)：206-21455】DAE-SIK，JANGGYE·YOUNG,KI／vlandHYUNG-IL．CHOLModelbasedtrackingofmovingobject．IEEETransPaRemAnalysisandMachineIntelligence．1997，30(6)：999—1008【56】MIraniandP．AnandarnAunifiedapproachtomovingobjectdetectionin2Dand3Dscenes．IEEETransPatternAnalysisandMachineIntelligence1998，20(6)：577·589157】JanuszKonradandEricDubisBayesianestimationofmotionvectorfieldsIEEETrans．PaReroAnalysisandMachineIntelligence1992，14(9)：910-927[58】N．ParagmsandGTzinritas．Adaptivedectionandlocalizatonofmovingobjectsinimagesequence．SignalProcessing：ImageCommunication．1999，14(2)：277-296．[59】韩思奇图像分割的闽值法综述．系统工程与电子技术，2002，24(6)：91·94【60】N．A．Otsu．Thresholdselectionmethodfromgray-levelhistograms．IEEETrans．onSystem，Man，andCybemetics，1979，9(1)：62-6661]T．Pun．Anewmethodforgray·levelpicturethresholdingusingtheentropyofthehistogramSignalProcessing，1980，2：223-237J．Kapur,ESahopandA．Wong．Anewmethodforgray-levelpicturethresholdingusingtheentropyofthehistogram．ComputerVisionGraphics，andImageProcessing，1985，29：210-239[631W．H．Tsai．Moment-preservingthreshold：anewapproach．ComputerVisionGraphics，andImageProcessing，1985，29：377·393【64】HushTu，Li·ChenFuApplicationofimagemomentflowofaI冲Pto6DOFvisualtracking．Proc．ofthe34thConferenceonDecisionandContr01．NewOrleans，1995：3757．3768．[65】R．MahonyandT．Hmnel．Visualservoingusinglinearfeaturesforunder-actuatedrigidbodydynamicsProceedingsofthe2001IEEE／RSJinternationalconferenceonintelligentrobotsandsystems．2001152．1158 生堕圭塑奎望盔兰苎主堂篁丝茎66】ECorkandM+GoodDynamiceffactsinvisualclosed·loopsystemsIEEETransactiononRoboticsandAutomation，1996，12(5)’671-684【67】E．Zergeroglu，DDawson，M．deQuairozandS．Nagarkatti．Robustvisual‘servocontrolofrobotmanipulatorinthepresenceofuncertainty．InProceedingofthe38”ConferenceonDecisionandControl，1999Phoenix，Arizona,USA．[69】F．ChanmettePotentialProblemsofstabil时andconvergenceinimage·basedandposition·basedvisualservoing．Intheconfluenceofvisionandcontrol，D．Kriegman，GHagerandS．Morse，EdsBerlin，Germany：Springer-Verlag,1998，v01．237：66·78f69]K．Dcguchi．Optimalmotioncontrolforimage·basedvisualservoingbydecouplingtranslationandrotationIntheconfluenceofvisionandcontrol，inProc．ofthe1998IEEE／RSJ．Int．Conf．IntelligentRobotsandSystems，Victoria,B．C．，Canada,Oct．1998：705·71【70]董再励，王光辉，田彦涛等．自主移动机器人激光全局定位系统研究．机器人，2000，22(3)：207．210【711L．Delahoche,C．Pegard。AdynamicomnidirectionallocalizationsystemformobilerobotnavigationInternationalJournalofRobotandAutomation，2001，16(I)：26-33【72]E．Malls，ERivas．Robustnessofimage-basedvisualservoingwithrespecttodepthdistributionerrorsInProcofthe2003IEEEInternationalConferenceonRoboticsandAutomation．Taipei，Taiwan，Sap．14-192003：1056．1061【73]KoichiroDeguchi．Adirectinterpretationofdynamicimageswithcameraandobjectmotionsforvisionguidedrobotcontr01．1nmmationa]JournalofComputervision，2000，37(1)：7-20【74l陈挂明，张明照，戚红雨等．应用Matlab建模与仿真(第一版)【MI。北京：科学出版社，2001．【75】C．C．Hang，K．JAstr6mandW．K，Ho．RefinementoftheZiegler-Nicholstuningformula．1EEPmc．PanD，1991，v01．138：111-118．【761SpyrosTzafestasandNikolaosEPapanikolopoulos．IncrementalfuzzyexpertPIDcontrolIEEETrans．IndustrialElee．，1990，37(5)：365-371【77】R．P．CopelandandK．SRattan，AfuzzylogicSuperiorforPIDcontrolofunknownsystem．1EEEInternationalSymposiumonControl，16·IgAugust，1994：22·26【7s]Hyeong-PyoHone,,Suk-JoonParkandKyeong-YoungCho，Adesignofauto-tuningPIDcontrollerusingfuzzylogic．Proceedingofthe1992IntemationalConferenceonIndustrialElectronics，Control，InstrumentationandAutomation，9-13Nov，1994，2971-976．【79】Kang-NingLou，Chrong-YanKuoandLing·Tangshan，Anovelmethodforfuzz3’self-tuningPID 参考文献controllersFuzzySystemSymposium，SoftcomputinginIntelligentSystemsandInformationProcessing，Pmcofthe1996Asian．11-14Dec，1996：194+199f80】KC．Jeong,SoonHKwonandD．H．Lee，Afuzzylogic-basedgaintunerforPIDcontroller．The1998IEEEInternationalConfereneeonfuzzysystems，4-9May，1998，1：551·554f81】Hyung-SooHwang,Jcong-NaeChoiandWon·HyokLee，atuningalgorithmforthePIDcommllcrutilizingfuzzytheory．InternationalJoimConferenceonNeuralNetworks，10-16July,1999，4．2210-2215【82】窦振中．模糊逻辑控制技术及其应用(第一版)[h明．北京：北京航空航天大学出版社，1995[83】LWeiss，A．SandersonandC．Nanman，Dynamicsensor-basedconl3"o]ofrobotswithvisualfeedbackIEEEJournalofRoboticsandAutomation，1987,3(5)：404．417[84]K．Chen，Fastalgorithmforthecalculationofimagemomctltsinalinearprocessorarray．CircuitsandSystems，IEEEIntemationalSymposiumon，8-11May1989，vol3：1524-1527 申请上海交通大学博士学位论文致谢毕业论文终于完成了，回首攻读博士学位的这些年，我要向那些曾经给予我热心帮助的人致以衷心的感谢。感谢我的导师潘俊民教授。潘教授开阔敏捷的思路使我在学术上受益非浅，他严谨的工作作风也令我感受到一个学者所具备的素质和品德，这些都将使我终生受益。在此向潘教授致以最诚挚的谢意。感谢同学黄福珍、欧阳晋、蔡云泽、徐蔚文、胡世余等。在学习和生活中，他们曾给予我许多无私帮助和热心鼓励，使攻读博士学位的这些年充满美好回忆。感谢师兄田涛，师弟晏吕猛、张峰、赵宏、禹华军以及其他师弟师妹，他们曾给我帮助，伴我度过实验室里难忘时光。感谢我的父母、妹妹和朋友，在我遭受挫折时给予我的关怀与鼓励。无论何时何地，他们都是我坚强的依靠，是我内心强大的动力。感谢我的爱人陈凯，谢谢他陪我度过每个欢乐和悲伤的日子，并一直给我支持和鼓励。在此向所有关心和帮助过我的人致以衷心的感谢!沈晓晶2005年4月 申请上海交通大学博士学位论文[21[3】【4】【5]5攻读博士学位期间发表的学术论文沈晓晶，潘俊民．机器人视觉伺服系统控制结构的研究．_【=业仪表与自动化装置．2002，(4)：9～12．沈晓晶。潘俊民．基于模糊图像矩的动态定位系统上海交通大学学报．2003，37(6)：951～955，(ElAccessionnumber：034276825151Xiao-JingSHEN，Jun-MinPAN．ASimpleAdaptiveControlforVisualServoing．2003InternationalConferenceonMachineLeamingandCybernetics．November02-05，2003，vol，2：976～979饵IAccession·number：04128071998)Xiao—JingSHEN．Jun·MinPAN．MorlocularVisualServoingBasedonImageMoments．IEICETrans，FundamentalsJuly．2004，Vol，E87一A，No．7l7981803．(ElAccessionnumber：043】8295560，9CI1DSNumber：836VU)沈晓晶，潘俊民．基于自适应Kalman预测器的运动估计算法，计算机仿真，2004(10)：73．75．
