多传感器图像视频融合

《多传感器图像视频融合》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、多传感器图像/视频融合项目联系人：张强，联系电话：13759945917一、项目简介随传感器技术不断发展，越来越多的不同类型的图像传感器（如可见光、红外图像传感器）用于军事国防、医疗诊断、视频监控等领域中。如何有效利用各传感器获取的图像信息，已成为当前多传感器信息处理领域所面临的、迫切需要解决的关键性技术问题。作为多传感器信息融合领域重要分支，图像融合可以为上述多传感器图像信息处理提供有效的途径。本项目围绕着多传感器图像/视频融合进行了深入研究，针对多传感器图像/视频融合中有关时空配准及融合策略等关键技术，形成了一系列具有自主知识产权

2、的创新性成果。上述成果已申请国家发明专利20项，其中新获授权专利12项。在《IEEETransactionsonImageProcessing》、《IEEETransactionsonCircuitsandSystemsforVideoTechnology》《InformationFusion》、《ComputerVisionandImageUnderstanding》、《红外与毫米波学报》、《自动化学报》等国内外期刊发表相SCI检索20余篇，单篇最高SCI他引165次，并入选2015年ESI高被引论文。相应成果得到美国IEEE、OS

3、A以及SPIEFellowAlanC.Bovik教授、澳大利亚悉尼大学澳大利亚技术科学与工程院院士及IEEEFellow冯大淦教授、英国伦敦帝国理工学院IEEEFellowDaniloP.Mandic教授、清华大学工程院院士戴琼海教授等国内外学者正面引用和评价。本项目成果可以应用于城市安防、医疗诊断、国防等领域，能够产生很好的社会效益。二、主要成果1.基于稀疏表示和空间上下文的多聚焦图像融合由于光学镜头的景深有限，使得人们在摄影时很难获取一幅所有景物均聚焦清晰的图像。解决该问题的有效方法之一是首先对同一场景拍摄多幅聚焦点不同的图像，然

4、后将其融合为一幅场景内所有景物均聚焦的图像。由于聚焦点的不同，多聚焦图像中具有不同的清晰区域和模糊区域，多聚焦图像融合的目的就是选取各幅源图像中的清晰区域并将其组合成一幅图像，同时避免虚假信息的引入。本项目主要研究了基于稀疏表示的多聚焦图像融合。与已有的基于稀疏表示融合算法在融合过程中单独考虑每一个图像块的信息不同，所提出的融合方法在对输入图像块进行稀疏表示和融合过程中，不仅考虑单个图像块的特征信息，还考虑每一个图像块与其空间相邻图像块特征之间的一致性信息，从而能够有效降低图像“块”效应，提高对配准误差的鲁棒性。对应专利号：20181

5、0086733.X图1.两幅多聚焦图像融合.(a),(b)分别为聚焦在左边和右边的输入图像；(c)，(d)分别为理想的和本项目得到的聚焦图；白色区域表示来自（a）图，黑色区域表示来自(b)图，灰色区域表示过渡区域；(e)融合图像.图2.三幅多聚焦图像融合.(a)-(c)分别聚焦在前景、中间和背景区域的多聚焦图像；(d)-(f)为(a)-(c)对应的决策图，图中表示白色区域分别表示(a)-(c)中的聚焦区域；灰度区域表示过渡区域；(g)融合图像.2.基于相似度测量和SCDPT幅相联合信息的多模态图像融合由于成像机理不同，多模态图像（如红

6、外与可见光图像）之间存在大量的“冗余”和“互补”信息。传统的“模值取大”和“加权平均”的融合策略不能够有效处理多模态图像之间的”冗余“和”互补“信息。并且，目前基于多尺度复变换的图像融合算法中，主要利用了多尺度复变换系数的幅值信息而忽略了相位信息。研究表明，相对于幅值信息，相位信息包含了更多的图像信息。本项目突破多模态图像之间“冗余”与“互补”信息表征与提取关键技术，发明了一种基于“相似度”测量和幅相联合信息的多模态图像融合技术。该发明技术采用复方向塔式变换（SCDPT）对输入图像进行多尺度、多方向分解，并采用SCDPT子带系数的幅值

7、信息和相位联合信息制定了一种新的相似度测量准则用于区分输入图像之间的冗余信息和互补信息，并针对冗余信息和互补信息分别制定相应的融合规则。在融合规则的制定中也充分利用了SCDPT子带系数的幅值和相位信息定义所需要的显著性因子和权系数，从而获得更好的融合效果。对应专利ZL201210275279.5。图3.多模态图像融合示例.第1列为红外图像，第2列为可见光图像，第3列为对应的融合图像.3.基于3维不可分多尺度变换和低秩张量分析的多传感器视频融合传统的多传感器视频融合技术主要采用已有的静态图像融合方法对输入视频逐帧进行融合。大多数此类技术

8、仅仅考虑了视频中单帧图像的空间信息，而没有考虑视频帧间丰富的时间运动信息，因而容易引起时空信息不一致问题。本项目突破现有视频融合技术局限性，发明了一种基于3维不可分多尺度变换的多传感器视频融合技术框架，为多传感器视频融合