多视点视频编码(3D)课件.ppt

《多视点视频编码(3D)课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、多视点视频编码的研究现状及其原理多视点视频指的是由不同视点的多个摄像机从不同角度拍摄同一场景得到的一组视频信号，是一种有效的3D视频表示方法，能够更加生动地再现场景，提供立体感和交互能力。ITU-T和MPEG的联合视频组（JVT,jointvideoteam）提出了多视点视频编码(MVC,multiviewvideocoding)的概念。MVC主要致力于多视点多视频的高效压缩编码，是未来视频通信领域中的一项关键技术，也是国际视频标准化组织正在研究的热点问题。根据不同的视频编码框架，MVC可分为基于小波的MVC方法和基于运动补偿加块变换的MVC方法。基于小波的MVC方法对现

2、有小波视频编码框架的扩展，其突出优点是具有良好的可分级性。基于运动补偿加块变换的MVC方法是在现有运动补偿加块变换框架的基础上通过添加新技术以提高MVC的编码效率。为了进一步扩展h.264／AVC的功能，使其具有更为广阔的应用前景,JVT相继公布了3个扩展标准，它们分别是高保真范围扩展、4：4：4格式扩展和可分级视频编码。考虑到3D视频的广阔应用前景，ⅣT决定将MVC作为H.264/AvC的第四个扩展标准。多视点视频序列是由一组摄像机阵列同步拍摄得到的。多视点视频编码体系结构多视点视频编码体系结构如图2所示，其核心模块包括多视点视频的编码、存储/传输和解码。由摄像机阵列拍摄

3、的N个视点的视频并行输入到MVC编码器，经编码后生成单个码流用于存储或传输，解码端对输入码流进行解码后恢复出多视点视频。考虑到与不同显示设备的兼容问题，解码端根据用户的需求恢复出一个或多个视点的视频。MVC现阶段MVC的主要研究方向包括MVC的预测结构研究、多视点视频的运动和视差补偿技术、多视点视频编码中的视点图像插值和颜色校正等。国内研究机构也纷纷开展MVC的研究工作，主要从MVC编码方案设计、颜色校正、视差估计和速率控制等几个方面开展。多视点视频编码的主要研究内容经过几年的研究，MVC主要从预测结构、提高MVC编码效率的技术和高层语法3个方面展开的。一、预测结构在H.2

4、64/AVC编码框架下，去除视点间冗余最直接的方式是在编码当前图像时使用其他视点中的已解码图像作为参考图像进行位移估值和帧间预测，这种方法称为视点间预测。如何设计时间预测和视点间预测以有效利用时间和视点间相关性MVC预测结构需要解决的问题。预测结构大体上可分为两类。第一类预测结构以提高编码效率为目的，例如顺序视点预测结构、基于分层B帧的视点间/时间混合预测结构以及基于最小生成树的预测结构等。第二类预测结构考虑除编码效率之外的其他一些功能需求，如随机访问性能、初始解码时延、编解码复杂度等。该类预测结构为了满足某些特定的需求，往往以牺牲编码效率为代价。二、提高MVC编码效率的技

5、术预测结构一经确定后，如何有效进行视点间预测来提高编码效率是MVC研究的一个主要内容。根据所使用方法的不同，视点间预测技术大致可分为两类：利用现有视点间相关性提高MVC编码效率的技术和补偿视点间差异性提高MVC编码效率的技术。1、利用现有视点间相关性提高MVC编码效率的技术视点间预测指的是采用邻近视点中已解码的图像作为参考图像对当前待编码图像进行预测。根据利用视点间相关性进行预测信息的不同，视点间预测技术可进一步分为视点间采样点预测和视点间运动信息预测两大类。1)视点间采样点预测各个视点的图像之间存在很强的相似性，可使用视点间参考图像的采样值来预测当前编码图像的采样值。视差

6、矢(DV‘disparityvector)指的是场景中同一点在各视点中投影位置之间的相对偏差。根据DV的定义，在获得准确DV信息后可以有效地进行视点间采样点预测。2)视点间运动信息预测多个摄像机拍摄同一场景时，场景中某一运动物体在各视点的投影的运动特性具有很强的相似性，利用此特性可进一步提高MVC编码效率。运动跳过模式(motionskipmode)正是基于这种运动相似性提出的。编码一个块时，该模式首先寻找与当前编码块具有相似运动的视点间匹配块，然后将匹配块的运动信息作为当前编码块的运动信息进行运动补偿预测，最后对预测差进行编码。采用运动跳过模式，当前编码块运动信息可由视点

7、间匹配块运动信息推导得出，不需要传输至解码端，从而有效降低运动信息的编码开销。基于全局视差(GDV,globaldisparityvector)的运动跳过模式认为当前编码块GDV指向块的运动信息具有很强的相似性。然而，对于图像中每个编码块，GDV不一定是最佳DV，往往与真实DV存在较大偏差。因此提出了一种基于精细粒度匹配的运动跳过模式，其具体思想是在GDV指向块附近进行搜索，寻找具有与当前编码块运动信息更相似的匹配块。在实际编码过程中，编码器根据一定准则在运动跳过模式和H.264/AVC已有模式中选择最优的预测编码