多视点视频虚拟视点合成技术综述【文献综述】

《多视点视频虚拟视点合成技术综述【文献综述】》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、毕业论文文献综述电子信息工程多视点视频虚拟视点合成技术综述摘要：随着多视点视频研究的发展，各种多视点视频编码技术的研究都成为热点领域，其中虚拟视点合成技术尤为关键，本文简要概括了多视点视频编码技术的发展历程和虚拟视点合成算法的研究现状，一种高效的虚拟视点插值算法是高质量图像合成的基础。本文重点介绍了几种现在虚拟视点插值算法并做了比较，由比较分析出每种算法的优缺点。关键词：多视点视频；视频编码技术；虚拟视点合成；1多视点视频编码技术简介多视点视频(Multi-viewVideo)是一种新型的具有立体感和交互操作功能的视频,通过在场景中放置多台摄像机,记录下多个视点

2、数据,提供给用户以视点选择和场景漫游的交互能力。多视点视频将在自由视点视频、立体电视、立体视频会议、多视点视频点播等数字娱乐领域有着非常广泛的应用前景。随着相机数目的增加,多视点视频的数据量也成倍增加。系统的一个挑战就是研究实现一种高效的多路编码传输机制,从而对数据进行高效地压缩以便存储和传输视频序列。多视序列包含同一个场景内多个视点的画面,画面之间存在很高的相关性,如何消除这些冗余,是多视点视频编码的一个重要问题。特别是,对于多视点视频编码来说,在消除空间冗余的同时,还要消除时间上的冗余。因此,多视点视频编码方法包含传统视频编码方法的内容,但它比传统编码方法更

3、加复杂。利用视差估计消除多个视点间空间冗余、预测编码以及虚拟视点图像的合成是其中比较重要的技术[1]。2多视点视频技术研究发展概况目前视频和音频结合的新型媒体的主要特点是具有交互能力。用户在观看的过程中不再是一个被动的消费者，取而代之的是用户可以通过某种方式进行选择他想观看场景远近和角度[2]。它的发展经历了以下历程：(1)最早出现的具有此功能的媒体是在图像处理中，它提供了纹理的三维模型(texturedthree-dimensionalmodels)来实现上述功能，被称为3D-model[2]。这种方式的缺点在于需要预先生成物体和场景的三维模型，而且如果要求模

4、型具有相片一样的真实感或者场景是动态改变的话，那么模型的生成是十分困难的。(2)与此相反，基于图像的合成(image-based-5-rendering，以下简称IBR)着重在从图像中生成新的虚拟图像，取代使用三维模型。IBR起源于光学函数。函数具有七个参数分别代表了每一条光线的空间位置(三参数)，方向(二参数)，时间和波长。然而这个可以表示视觉的公式只具有理论意义。在实际应用中通过忽略一部分参数，如波长，时间或空间位置，或者限定视点的使用数量来使其可行。例如光场(lightfield)和全景的拼接和镶嵌。这些方法的特点在于完全不使用场景中物体的几何信息，因此可

5、以把这一类称为基于外观的IBR。这类方法的缺点在于数据量和数据获取的代价都太大，而且对于交互有严格的限制。(3)在近几年的研究中，IBR技术在合成交互场景中的使用十分流行，进而出现了处理视频图像的VBR(video-basedrendering)方法。VBR的提法是基于对IBR基本概念的拓展。VBR是指使用视频数据作为输入，生成动态交互的虚拟环境。然而为了描述运动增加了数倍的必要图像数据，总体数据量的增加是惊人的。完整的VBR处理链可以分成以下几部分:图像获取/采集，场景的表现,编码，传输/流化，交互的显示[3]。基于上面的讨论，可以看到多视点视频的合成是属于V

6、BR方法范畴的，而VBR方法的突出特性就是处理链中各个部分相关性很强，特别是采集和合成是两个紧密相关的环节，因此关于VBR合成的研究都是基于各自建立的采集环境的。1虚拟视点合成算法研究现状虚拟视点合成是指依据两个或多个关于同一场景的真实视点图像,合成出虚拟视点图像。虚拟视点合成在虚拟现实、多视点视频等领域中有着广泛的应用，目的在于通过现有摄像机摄取的图像合成出更多的视点图像，从而在不增加成本的前提下使可切换的视点增加，切换过程更加平滑，观看起来更加流畅。如图1所示将虚拟视点合成技术应用于自由视点视频中,可以为观看者提供更多的观察视角[4]。图1　虚拟视点合成在自

7、由视点视频中的应用目前虚拟视点合成主要有基于位差预测的视图合成、基于图像拼合的视点合成、基于深度图的视点合成与改进的基于深度图的视点合成。下面就各类视点合成算法原理、优缺点做进一步阐述。-5-（1）基于位差预测的视点合成算法。为了满足多视点视频中新视点合成的需要，提出了一种基于位差估计和补偿插值的视点合成方法。实验结果表明，当两个摄像机间的基线比较小的时候，合成的视图质量和传统方法相当，但合成速度比较快，可应用于实时的交互式系统中。该算法的原理如下，首先基于块匹配的位差估计，将输入的左右两幅视图分别看成是待合成视图的“前向参考帧”和“后向参考帧”。对待合成视图与

8、参考视图进行分块处理，接