基于图像表征的非刚性多模医学图像配准方法研究

《基于图像表征的非刚性多模医学图像配准方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

分类号学号D201477452学校代码10487密级博士学位论文基于图像表征的非刚性多模医学图像配准方法研究学位申请人：朱飞学科专业：生物医学工程指导教师：张旭明副教授丁明跃教授答辩日期：2018年8月30日 ADissertationSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofDoctorofPhilosophyinEngineeringResearchonImageRepresentationbasedNon-rigidMulti-modalMedicalImageRegistrationPh.D.Candidate1.1.1.1.1.：ZhuFeiMajor：BiomedicalEngineeringSupervisor：Assco.Prof.ZhangXumingProf.DingMingyueHuazhongUniversityofScience&TechnologyWuhan430074，P.R.ChinaAugust,2018 华中科技大学博士学位论文摘要随着影像技术的发展，各种成像设备的出现为现代医学的进步作出了巨大的贡献，但由于成像原理的限制，单一模态的影像技术通常只能提供单一且有限的信息，因此，为了提高诊断的准确性和治疗的有效性，医生往往需要融合不同模态图像的信息以了解病变组织或器官的综合信息。多模图像融合的关键在于精确的图像配准，但其面临诸多挑战。一方面，在临床应用中，人体大部分器官都是软组织器官，病人的呼吸、体位变化及成像传感器（如超声探头）的作用力等因素会引起软组织的复杂非刚性变形，准确描述该形变需要多参数的变换模型，这会导致配准过程中参数较多，计算量大，优化困难；另一方面，因不同医学影像其成像原理差异的影响，不同模态图像的灰度值之间并不存在简单的一一对应关系，这使得准确构建适用于非刚性多模态医学图像配准的相似性测度变得非常困难，最终会影响图像配准的精确性。目前非刚性多模态医学图像配准的常规方法主要有基于灰度和基于几何特征两类，其中基于几何特征的方法过于依赖图像中点、线、面等几何特征信息的准确提取，而这些特征在医学图像中很难被准确定位和提取。基于灰度的配准方法主要包括基于互信息和基于图像表征的配准方法。其中互信息方法自动化程度高，不依赖图像灰度的对应关系，但其未考虑图像的空间结构信息，且易陷入局部极值导致误配准。基于图像表征的方法是指通过一定的映射关系将多模态的医学图像配准问题转化为单模态的配准问题，再利用单模态的相似性测度来实现图像配准。相比于基于互信息的方法，基于图像表征的方法相似性测度构建更简单(如SSD测度)，信息考虑更全面(如包括灰度特征和结构特征)；同时，该方法最终解决的是单模态图像配准问题，因此具有计算简单，优化不容易陷入局部极值等优点，在解决非刚性多模态医学图像的配准问题上较互信息等方法更有潜力。基于图像表征方法的典型代表包括LaplacianEigenmaps图方法，熵图方法，模态独立邻域描述子方法，其中LaplacianEigenmaps图对噪声敏感，熵图其结构表征结果比较模糊，模态独立邻域I 华中科技大学博士学位论文描述子不具有旋转不变性，同时这些方法皆利用人工设计的特征提取方法来实现图像结构表征，难以对复杂的医学图像实现精确的信息描述。针对上述不足，本论文将从图像表征的角度入手，研究准确性更高，鲁棒性更好的非刚性多模医学图像配准方法。本论文的主要工作包括：1)针对目前熵图模糊不清、存在伪点，同时信息香农熵容易受图像块大小影响等不足，提出一种基于脉冲发放皮层模型(SpikingCorticalModel，SCM)和分数阶广义熵(thefractionalordergeneralizedentropy，FOGE)的非刚性多模医学图像配准方法。该方法通过SCM的多次点火信息来挖掘图像所包含的信息量而非单纯计算图像块的灰度分布信息，再采用敏感性更高的FOGE来构建新的熵图以表征不同模态图像的特征信息，得到了清晰且一致性更好的熵图。实验证明，该方法能取得较传统熵图(EntropySSD，ESSD)方法和经典互信息(NormalizedMutualinformation，NMI)方法更好的配准效果。2)针对熵图对噪声敏感、MIND算法其自相似性计算不够准确且不具有旋转不变性等问题，本论文提出了通过自相似性激发的基于Zernike矩的局邻域描述子(Zernikemomentsbasedlocaldescriptor，ZMLD)的非刚性多模态医学图像配准方法。该方法先计算图像的Zernike矩，基于矩特征的自相似性来构建ZMLD，然后基于ZMLD的SSD计算多模态图像的相似性测度，最后基于上述测度实现非刚性多模医学图像配准。相比于MIND只通过图像的灰度信息计算自相似性，本论文的方法同时考虑了图像的灰度信息和空间结构信息，使得自相似性的计算更为准确而且具有旋转不变性。实验表明：本论文方法无论是准确性还是鲁棒性都较目前主流的基于图像表征的配准方法有了大幅度的提升。3)针对目前基于图像表征的配准方法采用人工设计的特征提取方法其准确性和鲁棒性欠缺等问题，本论文提出了一种基于拉普拉斯特征映射(LaplacianEigenmaps，LE)的无监督深度学习网络(LENet)，先利用该网络模型获得由浅到深不同层次的图像特征信息，然后利用自相似性对这些特征信息进行表征，得到用于图像配准的数据自适应图像描述子(LearningbasedData-AdaptiveDescriptor，LDAD)，最后通过LDAD来实现非刚性多模图像的精确配准。该方法其离线学习过程简单，II 华中科技大学博士学位论文同时可随着数据的改变自适应提取图像的本质特征，为确保特征提取和配准的效果提供了基础。通过实验证明，LDAD方法比NMI方法，ESSD方法，韦伯描述子方法，MIND方法和ZMLD方法具有更好的鲁棒性和更高的配准精度。关键词：非刚性多模态图像配准；图像表征；SCM模型；自相似性；深度学习III 华中科技大学博士学位论文ABSTRACTWiththedevelopmentofimagingtechnology,theemergenceofvariousimagingdeviceshasmadegreatcontributionstotheadvancementofmodernmedicine.However,duetothelimitationofimagingprinciples,single-modalimagingtechnologycanonlyprovidesingleandlimitedinformation.Therefore,toimprovetheaccuracyofdiagnosisandtheeffectivenessoftreatment,doctorsoftenneedtofusetheinformationfromdifferentmodalimagestoobtainthecomprehensiveinformationofdiseasedtissuesororgans.Thekeyofmulti-modalimagefusionisaccurateimageregistration,butitfacesmanychallenges.Ontheonehand,inclinicalapplications,mosthumanorgansaresofttissueorgans.Thepatient'sbreathing,bodypositionchangesandtheforceofimagingsensors(suchasultrasoundprobes)mayleadtocomplexnon-rigiddeformationofsofttissues,whichwillresultinmoreparametersandgreatercomputationalburdeninregistrationprocessing.Ontheotherhand,duetothedifferenceintheprinciplesofdifferentmodalmedicalimaging,thereisnosimpleone-to-onecorrespondencefortheintensitiesofthedifferentmodalimages,whichmakesitverydifficulttoaccuratelyconstructsimilaritymetricsfornon-rigidmulti-modalmedicalimageregistration,anditwillaffecttheaccuracyoftheimageregistrationeventually.The-state-of-the-artnon-rigidmulti-modalmedicalimageregistrationmethodsincludetheintensitybasedandgeometricalfeaturebasedmethod.Howeverthegeometricfeaturebasedmethodslargelyrelyontheaccurateextractionofgeometricfeaturessuchaspoints,linesandsurfacesintheimagewhichisstillanopenandchallengingproblem.Theintensitybasedregistrationmethodmainlyincludesmutualinformationbasedmethodandimagerepresentationbasedmethod.Theformerisofhighdegreeofautomation,anddoesnotdependonthecorrespondenceofimageintensities.However,itdoesnottakespatialstructureinformationintheimageintoaccount.Inaddition,itiseasytofallintothelocalextremevalue,whichwillresultinmisregistration.Thelatteristotransformthemulti-modalmedicalimageregistrationproblemintoamono-modalregistrationproblemthroughacertainmappingrelationship,andthenutilizesthesimilaritymetricintheIV 华中科技大学博士学位论文mono-modalimageregistrationtorealizeimageregistration.Comparedwiththemutualinformationbasedmethod,theimagerepresentationbasedregistrationmethodcanconstructthesimilaritymeasure(suchasSSDmeasure)moreeasily,andtheconsideredinformationismorecomprehensive(includingintensityandstructuralfeatures).Inaddition,thismethodfinallysolvesthemono-modalimageregistrationproblem,soithastheadvantagesofsimplecalculation,anditsoptimizationisnoteasytofallintolocalextremum.Theseadvantagesrenderthismethodtobemorepotentialtosolvethenon-rigidmulti-modalmedicalimageregistrationproblemthanthemutualinformationbasedmethod.TypicalexamplesofimagerepresentationbasedregistrationmethodsincludetheLaplacianEigenmapsmethod,theentropySSDmethod,andthemodalityindependentneighborhooddescriptormethod.TheLaplacianEigenmapsmethodissensitivetonoise,theentropySSDmethodhasafuzzystructuralrepresentationresultandthemodalityindependentneighborhooddescriptor(MIND)isnotofrotationalinvariance.Meanwhile,thesemethodsusetheartificiallydesignedfeatureextractionmethodstoachieveimagestructurerepresentation,sotheyaredifficulttoaccuratelydescribeinformationforthecomplexmedicalimages.Toaddresstheaboveshortcomings,thisdissertationwillstartfromtheviewofimagerepresentationtodoin-depthresearchonthemoreaccurateandmorerobustnon-rigidmulti-modalmedicalimageregistrationmethod.Themainworkofthisdissertationincludes:1)InviewoftheshortcomingsoftheentropyESSDmethodsuchasthefuzzyrepresentationresult,theexistenceofpseudo-pointsandthesensitivitytothesizeofimagepatch,aspikingcorticalmodel(SCM)andfractionalordergeneralizedentropy(FOGE)basednon-rigidmulti-modalmedicalimageregistrationmethodisproposedinthischapter.ThismethodusesthemultipleignitioninformationofSCMtodigtheimagefeatureinformationinsteadofsimplycalculatingtheintensitydistributioninformationoftheimagepatch,andthenusesthemoresensitiveFOGEtoconstructanewentropyinagetorepresentthedifferentmodalimages.Thismethodcanprovideamoreclearandconsistententropyimageforimageregistration.ExperimentsshowthatthismethodcanachievebetterregistrationresultsthanthetraditionalEntropySSD(ESSD)methodandtheclassicalnormalizedmutualinformation(NMI)method.V 华中科技大学博士学位论文2)ToaddresstheproblemsthatthetraditionalentropySSDmethodissensitivetonoise,theself-similaritycalculationofMINDmethodisnotaccurateenoughandMINDisnotrotationinvariance,thischapterproposesaZernikemomentsbasedlocaldescriptor(ZMLD)whichisinspiredbyself-similarityforimageregistration.ThemethodfirstcalculatestheZernikemomentofimage,andthenconstructstheZMLDbasedontheself-similarityofthemomentfeature.BasedontheSSDofZMLD,thesimilaritymetriciscomputedformulti-modalimageregistration.Finally,thenon-rigidmulti-modalmedicalimageregistrationwillberealizedbasedontheabovemetric.ComparedwiththeMINDmethodwhosecomputationoftheself-similarityonlydependsontheimageintensities,theproposedmethodinthischaptertakestheintensityinformationandspatialstructureinformationintoaccount,whichmakesthecalculationofself-similaritymoreaccurateandtheZMLDrotationallyinvariant.Experimentsshowthatthismethodhasprovidedgreateraccuracyandbetterrobustnesscomparedwiththeotherstate-of-the-artimagerepresentationbasedregistrationmethods.3)Toovercomethelimitationoftheartificiallydesignedfeatureextractiontechnologyintheexistingimagerepresentationbasedregistrationmethod,thischapterproposesanunsupervisedLaplacianEigenmaps(LE)baseddeeplearningnetwork(LENet)forimageregistration.TheLENetisfirstusedtoobtainthevariouslevelsofimagefeatureinformation.Thentheself-similarityofthesefeatureinformationisutilizedtoconstructthelearningbaseddata-adaptivedescriptor(LDAD).Finally,theSSDoftheLDADisusedtoperformtheaccuratenon-rigidmulti-modalmedicalimageregistration.Theoff-linelearningprocedureofthismethodishighlysimple.Inaddition,theLDADcanadaptivelyextracttheessentialfeaturesoftheimageasthedatachanges,whichensurestheefficiencyoffeatureextractionandimageregistration.ExperimentsshowthattheLDADmethodcanprovidebetterrobustnessandhigherregistrationaccuracythantheNMImethod,theESSDmethod,theWeberdescriptormethod,theMINDmethodandtheZMLDmethod.Keywords:Non-rigidmulti-modalimageregistration;Imagerepresentation;Spikingcorticalmodel;Self-similarity;DeeplearningVI 华中科技大学博士学位论文目录摘要.................................................................................................................IAbstract............................................................................................................IV1绪论1.1课题研究背景及意义..............................................................................(1)1.2医学图像配准算法的关键技术及研究现状..........................................(2)1.3深度学习概述及其在图像配准中的应用............................................(12)1.4本论文的创新点和主要贡献................................................................(15)1.5本论文的结构........................................................................................(16)2基于脉冲发放皮层模型和分数阶广义熵的非刚性多模医学图像配准2.1引言........................................................................................................(18)2.2相关背景工作概述................................................................................(18)2.3基于SCM的分数阶广义熵图..............................................................(24)2.4基于SCM-F熵图非刚性多模图像配准..............................................(25)2.5实验结果................................................................................................(27)2.6本章小结................................................................................................(31)3基于Zernike矩和自相似性的非刚性多模医学图像配准3.1引言........................................................................................................(32)3.2相关工作................................................................................................(32)3.3用于自相似性计算的Zernike矩..........................................................(34)3.4自相似性激发的Zernike矩局部描述子..............................................(37)3.5基于ZMLD的非刚性多模图像配准...................................................(41)VII 华中科技大学博士学位论文3.6实验结果与分析....................................................................................(43)4基于深度流形学习网络模型的非刚性多模医学图像配准4.1引言........................................................................................................(55)4.2相关工作................................................................................................(55)4.3基于LaplacianEigenmaps的深度学习网络........................................(59)4.4基于LENet的图像表征方法...............................................................(64)4.5基于LDAD的非刚性多模医学图像配准方法...................................(67)4.6实验结果与分析....................................................................................(69)4.7本章小结................................................................................................(77)5总结与展望5.1本论文工作总结....................................................................................(79)5.2展望........................................................................................................(80)致谢........................................................................................................(82)参考文献........................................................................................................(84)附录1攻读博士学位期间获得的主要学术成果.....................................(96)附录2攻读博士学位期间参与的项目.....................................................(97)VIII 华中科技大学博士学位论文1绪论1.1课题研究背景及意义近年来，随着科技的进步，成像技术日新月异，超声成像（UltrasonicImageing，US）、电子计算机断层扫描(ComputedTomography，CT)、磁共振成像（MagneticResonanceImaging，MRI）、正电子发射断层成像（PositronEmissionTomography，PET）等影像技术越来越广泛地应用于医疗体系之中，成为现代医疗诊治中不可或缺的手段。这些不同的影像技术有各自的优势和特点，例如超声成像快捷、成本低、无副作用，是目前一些疾病普查和孕妇胎检的主要手段，但是超声图像噪声明显，成像部位和深度都有很大的局限性；MRI对人体组织中水含量的变化非常敏感，对人体软组织有很好的成像效果，但容易受金属的影响，而且扫描时间较长，伪影较多；CT对于人体器官中的血管，以及器官的解剖结构成像清晰，分辨率高，但是有辐射危害，对于孕妇和小孩并不适用；PET则是用来分析人体器官的功能信息（如新陈代谢等），对于疾病的早期诊断有着极高的敏感性，但成像质量较低，远不如CT，MRI那么清晰。这些单一模态的医学图像所提供的信息往往并不能满足医生的需要，若能快速有效地将多种模态的医学图像信息进行融合，将为医生的诊治提供更全面、更准确的依据，从而大大提高诊断的准确性和治疗的有效性。多模态医学图像融合的关键在于图像配准。医学图像配准是指对于一副医学图像寻求一种或者一系列的空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这里的一致是指人体上同一解剖点或者至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。医学图像配准是医学图像处理领域的关键技术之一，是医学图像融合前必不可少的步骤，在临床中应用广泛、意义重大，例如通过PET和CT图像的配准来辅助肺癌诊断[1]，通过经直肠超声(TransrectalUltrasound，TRUS)和MR图像的配准来引导前列腺靶向穿刺活检[2]，通过CT和MR图像的配准为乳腺疾病诊断提供更好的依据[3]等。然而，多模图像配准是一个极具挑战性的难题。原因在于三个方面：首先，相1 华中科技大学博士学位论文比较于普通的光学图像，医学图像往往质量及对比度偏低，纹理结构不够清晰，组织边界不够明确，噪声、伪影较多，这使得医学图像的配准要难于一般的光学图像配准。其次，由于病人的呼吸、体位变化及成像传感器（如超声探头）的作用力等因素会引起软组织的复杂非刚性变形，准确恢复这类形变难度极大；最后，由于不同医学影像其成像原理与成像条件的差异，不同成像设备获得的图像在灰度上存在着很大的差异性。目前非刚性多模态医学图像配准方法主要有基于灰度和基于几何特征两类，基于几何特征的方法是通过对图像中点、线、面等几何特征信息的提取和匹配来实现配准，但医学图像往往质量较低，因此其特征信息的准确提取一直是一个难题。基于灰度的配准方法主要包括基于互信息和基于图像表征的配准方法。但基于互信息的配准方法未考虑图像的空间结构信息，且易陷入局部极值导致误配准。基于图像表征的方法则通过一定的映射关系将多模态的医学图像配准问题转化为单模态的配准问题，具有计算简单，优化不容易陷入局部极值等优点，但现有方法存在对噪声敏感或结构表征结果模糊等不足，同时这类方法皆利用人工设计的特征提取方法来实现图像结构表征，难以对复杂的医学图像实现精确的信息描述。针对上述不足，本论文将从图像表征的角度入手，研究精度更高，鲁棒性更好的非刚性多模医学图像配准方法。本论文的研究工作对推动医学图像处理和分析领域相关理论的发展和完善具有重要理论意义，对提升基于多模影像融合的手术导航、疾病诊断和治疗的有效性和准确性具有重要理论价值和实际意义。1.2医学图像配准算法的关键技术及研究现状对于两幅待配准图像：其中固定不变的图像称为参考图像，将施加变换的图像称为浮动图像，配准的目的就是找到空间变换T使得浮动图像IM与参考图像IR空间上对齐。这个过程可以描述为优化目标函数f的过程，即：argminfIIRM,T(1.1)fIIR,,MTSIIRMTRT(1.2)这里目标函数f由两项组成：相似性测度S，一般是用来衡量参考图像与浮动图像之2 华中科技大学博士学位论文间的对齐程度；正则项R，通常与空间变换模型相关，用来对一些特定的优化条件进行约束；空间变换T则是由空间变换模型的参数决定。因此，配准的基本框架通常包括三个模块：空间变换模型，优化方法和目标函数[4]。图1.1给出了图像配准的基本流程，下面我们就每个模块及各个模块中的主流方法或技术作一个简要的介绍和分析。变换模型参考图像优化方法空间变换目标函数浮动图像配准图像图1.1图像配准的基本流程示意图1.2.1空间变换模型图像配准的目的是为了寻找两幅图像之间的空间对应关系，而空间变换模型就是用来控制图像产生空间形变，进而对齐图像。一般来说，空间变换可以分为刚性变换和非刚性变换。其中刚性变换是指配准图像间的空间变换是线性的，它只允许目标进行平移和旋转变换，图像在经过刚性变换后，任意两点的距离保持不变；非刚性变换一般可分为三种主要类别：1）仿射变换，2）投影变换，3）非线性变换。刚性变换通常只有几个自由度，而非刚性变换却有成百上千甚至上万个自由度，越多的自由度意味着越复杂的计算，也意味着更强的表现能力。因此空间变换模型的选择对于配准方法非常重要。目前在配准中研究和使用最为广泛的空间变换模型是非线性变换模型，它可以将直线映射成曲线，所以又被称为弹性变换。在临床中，人体绝大多数的组织和器官都是软组织构成，因此很容易产生一些复杂且没有规律的非刚性形变，只有非线3 华中科技大学博士学位论文性模型才能更准确地模拟出真实的形变。非线性变换模型主要又包括基于物理模型的变换模型和基于插值和近似理论的变换模型。常用的基于物理模型的空间变换模型有：弹性体模型(ElasticBodyModels)[5-7]，粘性流体模型(ViscousFluidFlowModels)[8-10]，扩散模型(DiffusionModels)[11]，曲率配准(CurvatureRegistration)[12]和微分同胚流(FlowsofDiffeomorphisms)[13]。这些方法各具特色，例如弹性体模型和扩散模型有着较高的计算效率，却不能估计大偏移量的形变；而粘性流体模型刚好相反，可以有效恢复偏移量较大的运动，但计算效率较低；曲率配准的优点是不需要进行线性放射变换的预配准；微分同胚流则有着更好的鲁棒性，可以用于点配准、形状配准和三维图像配准。基于插值和近似理论的变换模型一般包括：径向基函数(RadialBasisFunctions)[14,15]，自由形变模型(FreeFromDeformations,FFD)[16-20]，和信号处理基函数(BasisFunctionsFromSignalRepresentation)[21,22]。其中FFD在医学图像配准的领域中受到最广泛的关注和认可，对于一个给定的矩形网格GKKK，图像大小为xyzINNN（KN，KNKN，）FFD的形变场可以表述为：xyzxxyyzz，333TxBtBtBtdlxmynziljmkn,,(1.3)lm0n00其中ixN/1x，jyN/1y，kzN/1z，txNxxxxN//，tyNyyyyN//，tzNzzzzN//；Bl表示第l阶B样条基函数，d表示控制点的位移。从公式1.3不难发现，该空间变换模型只需要很少的自由度，就可以简单并且有效地控制全局图像进行光滑的形变。由于FFD的优良特性，很多学者对其进行了深入的研究和扩展。Rueckert等人[17]在FFD中加入了约束条件，让网格中节点的最大位移不能超过网格间距大小的0.4倍，使得FFD在提供光滑形变的同时，还能保证原有的拓扑结构。Schnabel等人[23]采用了非均匀的FFD网格进行配准，作者建议为每个控制点分配一个状态主动或被动，以模拟非均匀控制点分配，在允许主动控制点移动的同时保证被动控制点固定不动。Wang和Jiang[24]提出了非均匀有理分布(NonuniformRational-Splines)的FFD，通过自适应聚焦的方式来实现医学图像配4 华中科技大学博士学位论文准。Feng等[25]提出了基于FFD的反向一致性方法，该方法不需要变形场的反演并且测试了两次变换映射回图像域的好坏程度。FFD的优点在于B样条基函数的局部受限性，其控制点只会令小范围的图像区域产生形变。随着网格间距的疏密变化，FFD所反映的形变范围也会随之发生改变，当网格间距较大时，FFD更侧重于描述全局的非刚性形变；而当网格间距较小时，FFD则更侧重于描述局部的非刚性形变，由此可见，多分辨率的FFD非常适用于由粗到精的非刚性多模态医学图像配准。鉴于FFD的优良特性，本论文采用了多分辨率的FFD作为多模医学图像非刚性配准的空间变换模型。1.2.2优化算法从本质上说，图像配准就是根据图像的特征信息寻求最优空间变换参数的最优化问题，因此选取合适的优化算法，快速、准确地求得最佳的配准参数也是配准过程中重要的一环。Aristeidis等人[4]将优化算法分为连续型优化算法，离散型优化算法和混合型优化算法。1)连续型优化算法：梯度下降法(GradientDescentMethods)[26,27]，共轭梯度法(ConjugateGradientMethods)[28,29]，鲍威尔方法(Powell’sConjugateDirectionsMethod)[30,31]，拟牛顿法(Quasi-NewtonMethods)[32,33]，高斯牛顿法(Gauss-NewtonMethod)[34,35]，列文伯格-马夸尔特算法(Levenberg-MarquardtAlgorithm)[21,36]，随机梯度下降算法(StochasticGradientDescentMethods)[37,38]。2)离散型优化算法：基于图的算法(Graph-BasedMethods)[39,40]，消息传送方法(BeliefPropagationMethods)[41,42]及线性规划方法(Linear-ProgrammingApproaches)[43,44]。3)混合型算法：贪婪算法(GreedyApproaches)[45,46]，进化算法(EvolutionaryAlgorithms)[47,48]。其中，拟牛顿法是求解非线性优化问题最有效的方法之一，是在牛顿法的基础上发展而来，其目的是为了改善牛顿法每次迭代求解复杂Hessian矩阵逆矩阵的缺陷，简化运算的复杂度。拟牛顿法不需要二阶导数的信息，所以在很多优化问题中，5 华中科技大学博士学位论文它都比牛顿法更为有效。而且，由于拟牛顿法的近似矩阵始终正定，因此该算法始终是朝着最优化的方向在搜索，具有全局收敛性和超线性收敛速度。在拟牛顿法中，搜索方向可表示为gHˆ1()，其中Hˆ1()表示Hessian矩阵逆的近似。它使用正定矩阵来近似Hessian矩阵的逆，在后来的研究中，拟牛顿法衍生出了两个变种，分别是Davidon–Fletcher–Powell(DFP)算法和Broyden–Fletcher–Goldfarb–Shanno(BFGS)算法，相比较而言，BFGS算法比DFP算法更为有效[33,49]。但是，在BFGS算法中，由于Hˆ1()会随着迭代次数的增加越来越庞大，因此当优化问题的规模很大时，存储和计算矩阵Hˆ1()将变得不可行。为了解决上述问题，文献[50]提出了BFGS算法的改进版本limited-memoryBFGS(L-BFGS)算法，它只需要保存并利用最近m次迭代的曲率信息来构造海森矩阵，大大降低了数据的存储空间。由于L-BFGS算法的优良特性，使得其在非刚性医学图像配准中的应用相当广泛，本论文也采用了该方法作为优化算法。1.2.3相似性测度相似性测度是图像配准中最重要组成部分，是描述两幅待配准图像之间相似程度的一种度量指标。相似性测度是图像配准的核心和基础，其构建的合适与否将直接影响到配准结果的好坏，因此一直是配准算法中最受关注的问题，本论文对多模态医学图像配准的研究也是侧重于相似性测度。目前已有的相似性测度大致可分为三类：基于图像几何特征信息的相似性测度，基于图像灰度的相似性测度以及混合相似性测度。(1)基于图像几何特征信息的相似性测度基于几何特征信息的相似性测度方法实际上是通过匹配待配准图像的特征集来获取最终的空间变换关系。也就是说这类方法一般涉及两个已知变量：浮动图像和参考图像的特征集；两个未知变量：对应关系和空间变换关系。因此这类算法需要首先提取待配准图像的几何特征信息，常用的特征信息包括特征点、直线段、边缘、轮廓线、表面、质心等等。目前对于这些特征的提取算法6 华中科技大学博士学位论文有很多，例如用于特征点提取的Harris算法[51]，SUSAN算法[52]，SIFT算法[53]和SURF算法[54]等。对于边缘或轮廓线的提取，常用的则有Prewitt算子[55]，Sobel算子[56]，Canny边缘提取算子[57]和拉普拉斯-高斯算子(Laplacian-of-Gaussian,LoG)[58]等。基于提出的特征信息，可采用Hausdorff距离、欧氏距离或其他方法来构建目标函数，通过优化来获得特征集的对应关系。而由特征集的对应关系到全局的空间变换关系又有刚性形变和非刚性形变两种情况。对于刚性形变，形变参数少，可以直接映射到图像的全局范围；对于非刚性形变，通常就需要检测出足够大的特征集，再通过合适的插值算法来获得相应的空间变换关系。目前在基于几何特征信息相似性测度的配准方法研究方面，已经取得了较好的成果。Cheung和Hamarneh等人[59]通过SIFT算法提取特征点并对齐，最终实现了3D-MR图像与3D-CT图像的配准。在一个混合配准框架中，Han等人[60]将SURF方法从2D扩展到了3D。Glaunès等人[61]提出了基于微分同胚的方法来通过点特征的对应关系确定非刚性配准的空间变换。在Wörz等人[62]提出的算法中，一旦点特征的对应关系和对应点的局部空间关系确定，非刚性配准的空间变换可以通过非径向基函数方法获得。在基于几何特征的相似性测度方法中，首先需要准确提取待配准图像对应的特征集，这本身就是一个非常复杂的难题；另外，由特征集的对应关系到全局图像的空间变换又会引入一定的误差，虽然这个误差会随着特征集的扩大而变小，但是特征集的扩大也会使得相应的计算量增加，因此这类算法存在较大的局限性。但在某些特定的临床应用中还是会被选用，例如关于视网膜的图像配准，因为视网膜图像中非血管部分的灰度强度是均匀的，而重要结构信息可以通过血管表示。(2)基于图像灰度的相似性测度基于图像灰度的相似性测度方法是通过在整个图像域中评估一个基于灰度的准则，继而实现对图像配准程度的量化。与基于图像几何特征的配准方法相比，这类方法很好地避免了因提取特征信息的准确性不够而严重影响配准结果的现象，而且在量化和表现致密形变场的精度方面更有潜力，因而受到广大研究人员的青睐，成为当前相似性测度方法研究的热点。7 华中科技大学博士学位论文根据图像模态的划分，基于图像灰度的相似性测度一般可以分为两种：1)用于单模图像配准的相似性测度，也就是待配准图像来自于同一成像设备；2)用于多模图像配准的相似性测度，也就是待配准图像来自不同成像设备。1）用于单模图像配准的相似性测度通常单模图像是指是来自于同一成像设备的图像，它们在相同解剖结构有着同样的灰度值，误差平方和与绝对误差和（SumofSquaredDifferences，SSD&SumofAbsoluteDifferences,SAD）[63]是单模图像配准中最为直接有效，应用也最为广泛的相似性测度。假设大小为R×R两幅图像：浮动图像IM与参考图像IR，SSD&SAD的数学定义如下：N12iiSSDIIRM,RMII(1.4)NiN1iiSADIIR,MIRIM(1.5)Niii其中，I和I分别代表参考图像和浮动图像中第i个像素的灰度值，N代表图像中RM像素的个数。除了SSD和SAD以外，还有互相关(CrossCorrelation，CC)和相关率(CorrelationRatio，CR)[64,65]在单模配准中也应用广泛，例如，当图像中有严重的噪声时，CC和CR比SSD和SAD有更好的配准结果。2）用于多模图像配准的相似性测度由于成像设备原理不同，不同模态的图像代表了不同的物理特性，这导致了不同模态的图像灰度值之间并不存在简单的一一对应关系，因此适用于多模态医学图像配准的相似性测度构建一直是一个难点问题。目前，在多模态图像配准的相似性测度构建方面，解决的基本思路主要可以分为两类：第一类是基于信息论的思路；第二类是通过一定的映射将多模态图像配准问题转化为单模态图像配准问题的思路。A基于信息论方法8 华中科技大学博士学位论文互信息是信息论里的一种信息度量，常用于评估一个系统包含另外一个系统信息量的多少。基于信息论的多模态图像配准方法最早是美国的Wells和比利时Maes两个研究组同时提出，都是通过最大化互信息来对多模态图像进行配准，他们的差别在于在互信息中熵的估计方式，Wells等人[66,67]使用非参数估计的方法，而Collignon等人[68,69]则是使用直方图进行估计。对于两幅图像Ir和If，互信息的计算方式如下：MIIIrf,,rfrfHIHIHIInprf,(1.6)iiprfii,logi1prpfii其中HI和HI分别是Ir和If重叠区域的熵，HII,为联合熵，pr和pfrfrfii分别表示在图像Ir和If中点i处的边缘概率密度，prf,则是联合概率密度。互信ii息的优势在于自动化程度高(不需要分割或特征提取等预处理)，不依赖图像的灰度之间的对应关系，因此互信息一出现就成为了众多研究者的关注焦点。然而，互信息的广泛应用及研究也很快暴露了自身的一些缺点。例如，互信息并不具有重叠不变性，也就是说互信息会随着图像重叠区域的变化而变化。为此，Studholm等人[70]提出了归一化互信息(NormalizationMutualinformation，NMI)，这使得互信息方法在多模配准中的稳定性大大提高。另外，互信息方法都是通过灰度直方图的概率分布反映图像的离散特征，对噪声比较敏感。于是，Wang等人[71]提出用累计概率分布代替原本的概率分布，通过这种方式计算得到的熵与香农熵相比，不仅可以定义在连续区域内，还更容易计算得到，更趋近真实值。后来，又有很多研究人员对互信息做了改进。Pluim等人[30]提出用f信息衡量待配准图像的联合概率与两幅图像完全独立时联合概率之间的差异，并且比较了V信息、Iα信息、Mα信息等几种f信息测度和互信息在医学图像配准中的应用。结果表明，有些f信息测度，虽然优化过程稍显困难，但是与互信息相比却能够获得更精确的配准结果。Studholme等人[72]考虑了局部灰度的变化，通过局部MI线性加权得到的区域互信息(RegionalMutualInformation，RMI)实现了多模图像的配准。Loeckx等人[73]以空间信息分布为约束提出了条件互信息(ConditionalMutualInformation，CMI)9 华中科技大学博士学位论文的方法。Zhuang等人[74]在传统互信息的基础上，融入局部互信息的思想，提出了基于空间编码互信息（SpatiallyEncodedMutualInformation，SEMI)的多模图像配准方法等等。B基于多模态转化单模态的方法基于互信息的方法本质上存在一些缺陷，例如对于图像的空间结构信息考虑不够，容易陷入局部极值而造成误配准等等。虽然不断有学者提出新的方法来改善这些缺陷，但是这些改进的互信息方法往往并不能让人满意。为了更好地解决多模态医学图像配准问题，有学者提出一个全新思路：通过一定的映射将多模态图像配准问题转换为单模态图像配准问题，再通过用于单模配准的相似性测度来实现精确的多模态图像配准。将多模态图像配准问题转换为单模态图像配准问题的方法主要包括两类：第一类是将一种模态的图像转化为另一种模态来得到两个相同模态的图像，例如Roche等人[75]就是把MR图像转化为了类似超声US灰度的图像，作者采用MR图像的灰度强度和梯度幅值信息来预测US图像的灰度强度，使得模拟图像粗略类似于实际US图像，从而实现了MR图像与US图像的刚性配准。Wein等人[76]是根据超声的物理特性建立了一个模型，再通过这个模型将CT图像转化为US图像，实现了CT到US多模图像配准。但是这第一类方法目前还有较大缺点，例如只能让不同模态的图像粗略相似，计算和模型都很复杂，不适于复杂的非刚性形变等等。第二类基于将多模态图像配准问题转换为单模态图像配准问题的方法是将两个不同模态的图像映射到一个共同的中间图像域，再利用中间图像域的表征图像，通过SSD等简单有效的单模相似性测度构建方式来得到新的相似性测度，进而实现非刚性多模态图像的配准。这类方法的本质是通过提取图像的本质特征信息，通过这些特征信息将两个不同模态的图像表达为相同模态的图像描述子，因此也被称为基于图像表征的配准方法。近十年来，基于图像表征的配准算法得到了广泛关注和研究。Wachinger等人[77]提出了两种基于图像结构表征的配准方法，在第一种方法中，作者将图像展开到高维流形空间中，通过Laplacian特征映射进行降维，再嵌入，得到其描述图像结构10 华中科技大学博士学位论文关系的特征图，再以特征图的SSD作为相似性测度来实现配准；第二种方法是提出了熵图（Entropyimage）作为不同模态图像的结构描述来实现非刚性多模图像配准，该方法是根据图像块灰度值的概率密度分布，逐一计算图像块的熵，然后以熵值来表征图像块的结构特征，最终得到源图像的熵图完成配准。受非局部均值(Non-LocalMeans,NLM)的思想的启发，Heinrich等人[78]通过研究发现图像块之间的自相似性会对不同的结构特征产生不一样的响应，鉴于此，作者提出了一种基于模态独立邻域描述子(ModalityIndependentNeighbourhoodDescriptor,MIND)的配准方法。韦伯邻域描述子（WebleLocalDescripror，WLD）是由杨锋等人[79]提出，作者将WLD与NMI相结合，首先用WLD来对图像进行表征，然后粗配准，恢复图像的较大形变，再用NMI方法来克服图像的较小形变，最终实现了多模态医学图像的非刚性配准。Piella[80]是利用扩散映射（DiffusionMaps）来获得不同模态图像的描述子并将其用于多模态医学图像的非刚性配准。曹祝楼等人[81]提出了基于边缘领域描述子(EdgeNeighbourhoodDescriptor，END)的非刚性多模医学图像配准方法，他是通过提取图像边缘特征信息并对其进行赋值来得到用于图像表征的END，然后利用END的SAD来实现非刚性多模医学图像的配准。以上这些基于图像表征的方法相比与经典互信息的方法有着明显的优势，但是也还是存在较大的局限性，例如，基于Laplacian特征映射的方法，计算相对复杂、耗时，对噪声也比较敏感；基于熵图的方法得到的表征图非常模糊，存在伪点；基于WLD的方法伪影严重，而且对于有些图像对并不能得到一致性好的图像描述子；MIND方法引入了自相似性的思想，虽然对噪声不敏感，鲁棒性较好，但其描述子不具有旋转不变性，而且自相似性的计算只考虑了图像灰度信息，没有考虑到空间结构信息，因此其自相似性的计算不够准确，对于大形变尤其是带有较大旋转的形变，配准效果并不好；基于END的方法思路简单明了，但其配准结果容易受到图像分割和边缘提取结果的影响。因此，为了克服这些缺点，获得更精确的非刚性多模医学图像配准结果，本论文将深入研究基于图像表征的非刚性多模医学图像配准方法。11 华中科技大学博士学位论文1.3深度学习概述及其在图像配准中的应用1.3.1深度学习概述在上一小节中，我们提到了图像表征实际上就是指通过图像描述子(通常与特征信息相关)将源图像描述为其他灰度空间的图像。然而，目前基于图像表征的配准方法并不能提供让人满意的结果。准确提取图像的本质特征，并将其按照一定的方式进行描述，以提供清晰、全面及一致的表征结果，对实现多模图像的精确配准至关重要，而最近广受关注的深度学习方法为实现上述目标提供了新思路。深度学习[82]的概念起源于人工神经网络的研究，一出现就在图像识别方面取得了突破性的成就，之后，在图像处理，信息处理，游戏，金融等领域也展现了强大的分析和学习能力。相关模型包括多层感知机(Multi-LayerPerceptrons,MLP)[83]、卷积神经网络(ConvolutionalNeuralNetworks,CNN)[84]、反卷积网络(DeconvolutionalNetworks,DN)[85]、层次稀疏编码网络(HierarchicalSparseCoding,HSC)[86]、深度玻尔兹曼机(deepBoltzmannmachines,DBM)[87]、深度信念网络(DeepBeliefNetworks,DBN)[88]、栈式自编码器(StackedAuto-Encoders,SAE)[89]等等。深度学习的优势在于可以通过多层非线性变换从大量数据中集中学习其本质特征，因此具有强大的自动特征提取和复杂模型构建能力，非常适合处理生物医学数据分析所面临的新问题。1.3.2深度学习在配准中的应用近年来，由于深度学习强大的特征学习能力，已经有不少学者尝试利用深度学习来解决图像配准问题，相关研究思路主要有三类。(1)基于深度学习的相似性测度直接估计Cheng等人[90]提出了通过深度神经网络(DeepNeuralNetwork,DNN)来对两种不同模态图像进行学习，直接得到这两种模态图像的相似性测度，其具体流程如图1.5所示。在该文章中，作者提出了一种非监督的多模态SDAE(StackedDenoisingAutoencoder)作为深度学习的网络模型，对不同模态图像块进行学习得到最终的相似性测度，并且对比了该相似性测度与NMI和LCC(LocalCrossCorrelation)在多模医12 华中科技大学博士学位论文学图像配准中的表现，结果表明该相似性测度鲁棒性更好并且能够提供更高的配准精度。但是该方法在每次进行配准时都需要先进行学习来得到相似性测度，这个学习过程相当耗时，大大降低了配准效率。L5SupervisedV1V2costL4SimilaritymetricTargetL3L2L1ModalityModalityinput1input2图1.2基于DNN的相似性测度直接估计方法(2)基于深度特征的图像配准第二种思路是首先通过深度学习方法实现待配准图像的特征提取，然后将其引入现有基于特征的配准方法中实现图像配准。这类方法的典型代表是Miao等人[91]针对二维X光和三维CT图像配准问题提出了基于CNN的图像配准方法，其模型结构如图1.6所示。从图中可以看出该模型除了输入层和输出层，主要包括两个卷积层(C1和C2)，两个池化层(P1和P2)和一个全连接层(F)。该方法可以用来提取图像的特征信息实现实时图像配准，但仅适合图像刚性配准。Wu等人[92]提出了基于深度自编码器的图像配准方法，该方法在MR图像上的测试性能优于一些传统配准算法，但其采用与传统特征配准方法相同的框架，且采用特征独立表征方式，不适合用于组织结构缺乏对应性的图像，也难以实现三维图13 华中科技大学博士学位论文像的实时非刚性配准。F1:FullyconnectedInputC1:Conv...P1:poolingC2:ConvP2:pooling.........20@10×1020@24×2420@20×201@52×5220@48×48100图1.3用于图像配准的CNN模型结构(3)基于深度学习的变换模型参数/形变场估计这一类方法则是利用深度学习模型直接学习输入图像和形变场或变换模型参数间的复杂映射关系，然后对于给定的待配准图像，借助该映射关系可直接实现图像快速配准。Cao等人[93]就是利用了CNN线性回归模型对图像块的形变信息进行训练和学习，然后通过输入图像对之间的映射关系直接得到待配准图像的形变场。该方法虽然简单直接，但是对图像整体数据信息利用不够充分，而且所采用的训练样本都是通过传统配准方法得到，因此并不能提供准确的形变信息。Yang[94]等人是采用了深度编码-解码网络模型作为预测模型，通过图像的灰度信息来估计图像的高维形变场来实现配准。但是该方法的深度学习模型参数多，调参复杂，对图像中的噪声、伪影也比较敏感。而且，由于该方法所利用的是图像灰度信息，因此在处理结构对应性有缺失的多模态图像配准问题时，无法保证配准的有效性。总体而言，上述基于深度学习的配准方法相比传统的配准方法都有一定的优势，但是受模型训练的复杂性、训练样本数量和质量及形变估计手段等方面的局限，现有方法难以实现非刚性多模医学图像的精确配准。14 华中科技大学博士学位论文1.4本论文的创新点和主要贡献1)提出一种基于脉冲发放皮层模型（SpikingCorticalModel，SCM）和分数阶广义熵（FractionalOrderGeneralizedEntropy，FOGE）的非刚性多模医学图像配准方法。分析了传统熵图方法(ESSD)仅仅通过图像灰度的密度分布函数来求香农熵，所表征的熵图非常模糊，存在伪点，而且图像块大小的选择对于熵图的构建影响较大等问题，本论文的方法通过SCM多次点火来挖掘图像所包含的信息量而不是单纯图像块的灰度分布信息，再采用敏感性更高的FOGE来构建新的熵图以表征不同模态图像，得到了清晰且一致性更好的表征图。该方法很好地解决了非刚性多模医学图像配准中相似性测度难以构建的问题，而且通过实验证明，该方法相比传统熵图方法和经典互信息方法在配准效果上有一定的提升。2)提出了一种基于Zernike矩局部描述子的非刚性多模医学图像配准方法。首先计算图像的Zernike矩，然后利用矩特征，构建一种通过自相似性激发的基于Zernike矩的局部描述子（ZernikeMomentsbasedLocalDescriptor，ZMLD），再通过计算参考图像与浮动图像ZMLD之间的欧式距离，获得新的相似性测度ZMLD-SSD并用于多模图像的非刚性配准，相比于MIND只通过图像的灰度信息计算自相似性，本论文的方法既考虑了图像的灰度信息，又考虑了图像的结构信息，使得自相似性计算更为准确而且具有旋转不变性。该方法参数少，通过实验对比，该方法比NMI方法，ESSD方法，WLD方法，MIND方法等有更好的配准精度和鲁棒性。3)提出一种基于数据自适应描述子的非刚性多模医学图像配准方法。目前的特征提取方法都是基于人工设计的提取算子或滤波器，提取特征不够准确，而且鲁棒性不够好，很可能对于某一数据表现良好，但另外一种数据却差强人意。因此，本论文提出了一种新的无监督深度学习网络，通过该网络模型来提取图像的特征信息。该网络模型是以LaplacianEigenmaps为核心技术(因此该网络模型也被称为LENet)，首先通过LENet进行训练和学习得到一个多层次的滤波器组，该滤波器组用来挖掘数据更深层次的本质特征信息，接下来利用自相似性对提取到的特征信息进行表征，得到数据自适应描述子(LearningbasedData-AdaptiveDescriptor，LDAD)，再然后基于LDAD构建相似性测度最终完成配准，通过LENet得到的滤波器组会随着数据的15 华中科技大学博士学位论文变化而做出一定调整，因此可以高效的提取数据特征信息，鲁棒性也更好，而且该方法的学习过程是离线完成，并不影响实时配准的效率。实验证明，基于LDAD的配准方法比目前的其他基于图像表征的主流配准算法有更高的配准精度。1.5本论文的结构第一章：首先阐述本论文的研究背景与意义。然后介绍了医学图像配准方法的基本流程，根据空间变换模型、优化方法和相似性测度这三个主要模块，分别介绍了医学图像配准中的各种方法和技术，着重介绍了用于多模态医学图像配准的相似性测度方法，并分析了当前用于非刚性多模医学图像配准的相似性测度方法存在的问题。接下来提出需要通过深度学习来解决目前图像表征中的难点问题，并简要介绍了深度学习的概况和目前深度学习在图像配准中的应用与研究。最后，指出了本论文的创新点和主要贡献，并给出本论文的结构。第二章：提出基于脉冲发放皮层模型和分数阶广义熵的非刚性多模态医学图像配准方法。首先分析了目前熵图存在的问题，并提出解决方法；接下来介绍脉冲发放皮层模型和分数阶广义熵的背景知识；然后详细介绍了基于脉冲发放皮层模型和分数阶广义熵来对不同模态图像进行表征，以及如何利用所表征的图像描述子实现多模态医学图像的非刚性配准；最后，对本章方法、传统熵图方法、经典互信息方法等在非刚性多模态医学图像配准的精度和效率方面进行比较和分析，并给出实验结果。第三章：提出基于Zernike矩局部描述子的非刚性多模医学图像配准方法。首先指出了目前主流的MIND方法不具有旋转不变性，自相似性计算不够准确等问题，并点出了解决方法；然后介绍了Zernike矩和自相似性的背景知识，以及如何利用矩特征的自相似性来构建图像描述子；接着介绍了基于该图像描述子的非刚性多模医学图像的配准；最后，我们对各参数进行分析与讨论，并通过大量多模医学图像配准的实验对比验证了本章方法比NMI方法，ESSD方法，WLD方法，MIND方法有更好鲁棒性和准确性。第四章：提出基于数据自适应描述子的非刚性多模医学图像配准方法。首先讨16 华中科技大学博士学位论文论了在目前基于图像表征方法中人工特征提取的局限性，提出通过深度学习来解决该问题的思路。接下来介绍了与之相关的一些背景知识和工作，同时给出了所提出深度学习模型的结构和特点；然后介绍了如何利用该网络模型进行特征提取，以及利用自相似性进行图像表征；再然后介绍了基于该图像描述子的非刚性多模医学图像配准流程；最后，我们讨论了该方法中重要参数的选择，并且通过在仿真脑部数据，真实脑部和腹部数据上的大量实验证明了该方法比目前其他基于图像表征的主流算法有更高的准确性。第五章：对全文的研究工作进行总结，并对今后非刚性多模态医学图像配准的研究方向进行展望。17 华中科技大学博士学位论文2基于脉冲发放皮层模型和分数阶广义熵的非刚性多模医学图像配准2.1引言在第一章中，我们已经阐述了优化方法、相似性测度和空间变换是图像配准的三个关键问题，其中相似性测度对于配准的结果有着最直接的影响，而非刚性多模图像配准由于图像灰度的差异性，形变的复杂性，其相似性测度的构建一直是一个极具挑战的问题，研究如何构造适用于非刚性多模医学图像配准的相似性测度对于高精度、高效率的多模图像配准具有重要理论价值和实际意义。传统的基于互信息的相似性测度方法如归一化互信息、条件互信息、局部互信息等都有着很大的局限性，1)容易陷入局部极值；2)计算耗时；3)对于空间结构信息考虑不够等等。2.2相关背景工作概述2.2.1基于熵图的多模态图像配准方法为了克服互信息方法的这些缺点，获得更好的配准效果，就有学者提出了基于图像表征来构建相似性测度的方法。Wachinger等人最早提出图像结构表征的概念，作者提出了通过LaplacianEigenmaps和信息熵两种方式来描述图像的结构信息，并用他们实现了多模态医学图像的配准。其中基于信息熵的方法计算较为简单，而且能够较好的描述图像的结构信息，该方法是根据图像块灰度值的概率密度分布，逐一计算图像块的熵，然后把两种模态图像对应熵图的SSD作为相似性测度进行非刚性多模图像配准。图2.1给出了熵图描述子计算的原理图，具体计算过程如下：1)对一幅图像I，选定图像中像素点i为中心的图像块P，给定P的灰度级；2)统计P的灰度直方图，估计P中各像素灰度值的出现概率S=ss12,,sn，其中n是图像块中像素个数；18 华中科技大学博士学位论文n3)计算P的香农熵：H=siilogs，H即图像块P的熵值，也是像素i熵i1图描述子的计算结果。图2.1熵图描述子计算原理图[77]从图中我们可明显看出：熵图原理较为简单，计算复杂度低，能够有效的将不同模态图像表征为相同模态的图像，进而实现多模医学图像的非刚性配准。但是通过该方式得到的熵图无论是边界还是图像内部的结构特征都非常模糊，虽然后续也产生了不少改进方法，如使用Renyi熵、Burg熵、Tsallis熵和对应的积累熵来代替原有香农熵，但是配准的效果都相差不大。因此，为了得到更精确的配准结果，本章提出通过脉冲发放皮层模型来挖掘图像块的信息量，再利用敏感性更高的分数阶广义熵来计算得到新的熵图，最终实现更精确的多模医学图像的非刚性配准。2.2.2脉冲发放皮层模型20世纪90年代，Eckhorn[95,96]发现哺乳动物的视觉皮层会产生脉冲现象，基于此视觉原理，Eckhorn数学模型得以问世。之后，Johnson等人[97,98]分析了Eckhorn模型中的大量漏电积分器和非线性结构不利于理论分析，而且对同步震荡理论描述不清晰等不足，提出了脉冲耦合神经网络(Pulse-CoupledNeuralNetworks，PCNN)。PCNN的构建是基于哺乳动物的视觉原理及现象，与一些传统的神经网络相比具有以下优良的特性：同步脉冲发放特性、变阈值特性、动态脉冲发放特性等，也因此19 华中科技大学博士学位论文被广泛的用于图像去噪、融合、边缘增强等领域。但是PCNN参数较多，这些参数与具体应用效果之间的关系很难解释清楚。因此PCNN在应用时，其各项参数需要手工设置并根据处理结果不断调整，非常麻烦。为此，绽琨等人[99]针对PCNN进行简化，提出了脉冲发放皮层模型(SpikingCorticalModel，SCM)。相比于PCNN，SCM模型能更好地描述生物电传输的衰减特性、以及视觉神经系统感受野受到适当刺激时相邻连接神经元同步脉冲发放产生振荡等特性。SCM模型的神经元通常由三个部分组成：接收连接域、调制域和脉冲发生器，其结构如图2.2所示：接受连接域调制域脉冲发生器YklEijhgW1ΣSijUij0Yijf图2.2SCM网络神经元结构示意图其中接收连接域代表了输入项的指数衰减特性，通常输入连接被设定为脉冲调制的卷积；调制域代表了连接输入的过程；脉冲发生器则表示了对输入的反馈，PCNN中的反馈输入一般被假设为外部激励。由此可得SCM内部活动项的定义如下：UijijijijklklnfUijnSWY11nS(2.1)kl其中，i、j、k和l表示待处理图像中像素点的空间坐标，n表示当前迭代次数，Unij表示该网络运行时第n次迭代的内部活动项，Sij表示神经元的外部激励，Wijkl是连接域突触连接权，Yn和Yn1分别是SCM发放的脉冲输出和上一ijij次的脉冲输出，f为内部活动项的衰减系数(一般用来控制内部活动项衰减的快慢程20 华中科技大学博士学位论文度)。在SCM中，神经元会接受来自其邻域神经元的输入信号和外部输入信号两种，而神经元是否发放脉冲，则需要通过内部活动项Uij(n)和阈值En的大小来决定，ij也就是：1,UnijijEnYn(2.2)ij0,otherwise式中神经元的动态阈值En定义如下：ijEngEn11hYn(2.3)ijijij其中g是阈值衰减系数，决定着动态阈值的衰减速度；h是阈值放大系数，用来控制神经元在发放脉冲后阈值迅速蹿升的增长幅度，使动态门限能量周期性提升，从而使神经元在连续迭代中周期性发放脉冲。在用于图像处理时，SCM的外部激励对应图像中相应位置的像素值，内部激励即公式2.1中的SWYijijklkln1，所以SCM的点火过程如下：klStep1：初始时，神经元的内部活动项能量为0，即此时Uij0=0。Step2：当进行第一次迭代后，随着外部激励的输入，神经元开始有了内部能量，此时的U1=S。ijijStep3：根据公式2.1和2.3，随着迭代次数的增多，神经元的内部活动项能量会逐步增大，动态阈值会不断减小。Step4：直到UijnEijn时，神经元发放脉冲，输出并记录一次点火状态，此时受Yijn1的影响，动态阈值会相应增加，因此需要神经元具有更多能量才能下一次点火。随着不断的迭代，神经元会不断点火，其示意图如图2.3所示。SCM模型可以视为PCNN的简化模型，而且保留了PCNN的主要特性，如邻域内神经元激励，脉冲反馈调制内部活动项，可控动态阈值和相似性集群耦合发放脉冲等。同时SCM模型参21 华中科技大学博士学位论文数更少，计算复杂度低，对低强度的外部激励有着极高的敏感度。因此SCM兼具有生物特性并继承了PCNN的全局耦合、同步脉冲发放等特性，非常适合从源图像中获取原始信息。图2.3神经元的点火示意图[99]2.2.3分数阶广义熵熵的概念是由德国物理学家克劳修斯于1865年所提出，最初是用来描述“能量退化”的物质状态参数之一，在热力学中有广泛的应用。1948年，Shannon将统计物理中熵的概念，引申到信道通信的过程中，打开了“信息论”这扇新的大门。Shannon定义的“熵”又被称为“香农熵”或“信息熵”[100],数学定义如下：nSpp1,,,log2p2Kppnii(2.4)i1其中i表示概率空间中所有可能的样本，p表示该样本的出现几率，K是和单位选取i相关的任意常数。Shannon熵拥有很多优良特性，1)连续性：该度量是连续的，即若样本概率值有微小变化，由此引起的熵变化也是微小的。2)对称性：当样本顺序改变时，该度量保持不变，即，22 华中科技大学博士学位论文Spp,,,,Spp(2.5)12213)极值性：当所有样本等概率出现时，熵达到最大，即，11Spp,,,,Slogn(2.6)122nn4)可加性：熵的值与过程划分无关。即，如果子系统之间的相互作用是已知的，则可以通过子系统的熵来计算一整个系统的熵。Shannon理论声名卓著，应用广泛，但也存在很多的局限性，例如对于语义信息、感觉信息、偶然事件及测量数据提供的信息，Shannon理论无能为力。50年代末，Kullback[101]提出Kullback信息公式：**piIpKilog2(2.7)ipi*虽然它是Shannon互信息公式的特例，但是如果把p看作是主观预测的可能性测度，i则它度量的就是广义信息。70年代，H.Gottinger等人[102]提出非概率信息，S.Guiasu等人[103]提出了加权熵和效用信息，还有G.Jumarie等人[104]提出采用洛伦兹变换的相对信息，其中不变量是意义熵和符号熵之差；后来，R.Yager等人[105]，M.Higashi等人[106]和D.Dubois等人[107]又提出或讨论了可能不确定性（Possibilisticuncertainty）测度及相应的广义熵。近年来，关于广义熵的研究一直在不断深入，在2014年，J.T.Machado根据分数阶微积分的性质提出了分数阶广义熵（FractionalOrderGeneralizedEntropy，FOGE）[108]，其数学定义如下：piSlnpii11p(2.8)i1其中和分别代表伽玛函数和反伽玛函数，11，很明显，当α=0时，Sα即为Shannon熵。在文献[108]中，作者通过大量实验证明了该广义熵对于信息估计有着非常高的敏感性，而且正信息和负信息概念的引入使得分数阶广义熵也有着很好的鲁棒性，对于图像处理中复杂信息的估计更加准确。23 华中科技大学博士学位论文2.3基于SCM的分数阶广义熵图鉴于SCM模型和分数阶广义熵的优良特性，我们提出了基于SCM的分数阶广义熵图（SCM-F熵图），SCM-F熵图的构造流程如图2.4所示，源图像I输入SCM网络，迭代次数为N，SCM每次迭代都会产生一个二值化的点火图Ti(1