校准非重叠序列.doc

《校准非重叠序列.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、校准非重叠序列计算机科学和应用数学,魏茨曼科学研究所,以色列,雷霍沃特76100摘要：本文展示了两个图像序列（在他们之间的视野中没有空间重叠）如何在时间和空间排列。这种校准在两个摄像头紧密相连在一起,共同在空间中运动时可以实现。常规运动随着时间推移在两个序列中诱发“相似的”变化。这个时间相关行为,用于恢复这两个序列之间的时空转换。因此，在标准图像校准技术方面的“一致外观”的要求被“一致的时间行为”代替，这通常是容易满足的。这种校准方法不仅可以用于调整非重叠序列，而且可以用于解决　　其他情况下标准图像对齐技术固有的

2、困难。我们将演示这种方法在三个现实问题方面的应用：（1）为生成宽频电影非重叠序列的校准，（2）图像（序列）的校准获得显著不同的增益，用于监控应用程序，和（3）多传感器融合的多传感器图像校准。关键词：时空校准，时间同步性，多传感器校准，宽屏电影校准，不同放缩的校准1.简介图像校准（或登记）的问题已经被广泛研究，解决这一问题的方法已经成功的发展。这些方法都是基于匹配提取局部图像特征,其他方法是基于直接匹配的图像强度。对其中的一些方法回顾可以在Torr，Zisserman（1999），Irani和Anandan(199

3、9)中。然而,所有这些方法都基于一个基本假设:在两幅图像之间有足够的重叠区域来实现常见图像属性的提取,即在两个图像之间有足够的“相似度”(这儿的图片的“相似度”是最广泛的意义上的。它可以从灰度相似性到频率相似性和所有的统计相似性的方法如互信息(ViolaandWellsIII,1995)本文主要解决以下问题:两个图片能否对齐，当有很少的相似点时，或者更极端，当两个图片完全没有空间重叠？当处理单个图片时，答案往往是否定的。然而，这不是在处理图像序列是的情况。一个图像序列包含了比任何单个框架更多的信息。特别的，时间的

4、变化(如动态场景中的变化,或诱导图像运动)是视频帧间编码，但不会出现在任何单个框架中。这些信息可以建立一个校准两个（或更多）序列的有力线索。CaspiandIrani(2000)andStein(1998)说明了这种方法对于校准两个序列的适用性基于共同的动态场景信息。然而，他们认为同一时间场景（运动物体）的变化对于两个摄像机都可见，导致要求在两个摄像头的视场(的视野)中必须有明显的重叠区域。在本文中,我们展示了当两个摄像头彼此非常接近时(因此他们的中心投影很近)，并且在空间中一起运动，然后每个序列中的诱导帧对帧转

5、换在两个序列中是相关行为。即使两个序列没有重叠区域这也是成立的。这个时间相关行为用于恢复两个序列之间的空间和时间转换。　不像仔细校准stereo-rigs(Slama，1980年),我们的方法不需要任何先前的内部或外部相机校准,也不需要任何复杂的硬件。我们的方法和Demirdijian(2000)HoraudandCsurka(1998)andZissermanetal.(1995)等人提出的用于stereo-rigs的自动校准的方法相似。但与这些方法不同，我们不要求两个摄像头观察同一场景和匹配特性，也不要求他们

6、视场重叠。“一致外观”的需要是图像校准的一个基本假定，或校准方法，在这里被“一致时间行为”的需要所替换。一致的时间行为往往更容易满足(如，通过在空间中移动联合两个摄像头)类似的想法是用于机器人手眼标定研究(e.g.,TsaiandLenz(1989)andHoraudandDornaika(1995)).我们的方法有用不仅由于没有重叠区域，还由于图像之间很少有共同的外观信息，也是标准图像校准技术的固有困难。这给现实世界提供了多种多样的应用程序，包括：（1）图像融合的多传感器校准。这需要准确定位图像（序列），通过传

7、感器不同的传感方式（例如红外线和可见光）。这些图片在外表由于不同传感器属性方面有显著的差异(ViolaandWellsIII,1995).（2）图像（序列）校准获得不同的放缩。不同的图像特征突出表现在不同的图像分辨率(Dufournaudetal.,2000).宽视场序列和窄视场序列的校准对场景的缩放试图中或外的小的放缩对象。这可能是有用的监测应用。从多个非重叠窄视场电影中产生宽屏电影（如在IMAX电影里）1.问题规划我们检测当两个摄像头（大约）有相同中心投影但不痛的三维定位，在空间同步移动是的情况，见图一。两个

8、摄像头的视场不一定重叠。两个摄像机的内部参数不同且未知,但是是固定的序列。外部参数相关的两个摄像头(即,相对三维取向)也不得而知,但固定。是由两个摄像机记录的两个序列。当时间同步（如，时间戳）不可用，这时和不一定是对应的帧。我们的目标是恢复在时间和空间排列两个序列的转换。注意“alignment”这个词在这里比通常有一个更广泛的意义,序列可能不会在空间重叠,也可能没有及时