立体视频的dt网络编码

《立体视频的dt网络编码》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、立体视频的DT网络编码第一章绪论1.1研究背景与意义近年来科学技术水平的提高引领着数字通信技术的迅猛发展。人们获取信息的方式来自视觉系统的部分远远超过其他信息获取方式。但是人类的视觉系统是一个有着深度感知能力的复杂系统，传统的单目视频不能很好地反映三维世界真实的映像，立体视频能够模拟人眼的视觉系统，反馈出具有真实视觉景深的事物而得到人们的青睐。目前立体视频技术已经在视频会议[1]、远程教学、人机交互、可视、3D电影电视等领域得到广泛的应用。我们知道视频数据由海量连续图像序列组成，而立体视频相较传统的单目视频

2、来说需要提供左右双眼的数据，数据量更是至少要翻一倍，视频数据的存储和传输的需要带宽大幅增加，但是现有技术水平无法提供有效带宽，因此我们想要获得立体、真实的立体视频数据就要解决视频数据的存储和传输。立体视频压缩编码领域常用的编码方法主要有基于块的编码、基于对象的编码和基于网格的编码。基于块的编码技术[2]虽然已经基本成熟且算法较为简单，但是缺点也很明显，而且在压缩性能方面已经基本达到极限。现在随着3D电影的普及，立体视频应用领域已经逐渐深入到人们生活中。双目立体视频与传统的单目立体视频编码相比，不仅数据量翻倍

3、，而且还要充分考虑到利用左右视频信道之间的冗余信息。基于块的编码技术虽然在不断改进之后已有了明显的改善，但是其解码图像的块效应[3]依然是其一直未解决的问题之一。上个世纪90年代以来，关于MPEG-4视频编码标准[4]的研究一直在持续进行。基于网格的编码方法由于其可以改善基于块编码、基于对象编码的缺点获得了人们的重视。DT网格是基于图像内容自适应生成的，将视差图的特征点设为网格节点，依据一定的准则不断预测逼近原图像。由于DT网格的生成不再是人为划分的，而是基于特征点生成网格节点进而不断迭代产生网格，所以基于

4、网格的编码方法准确度比较高。其次，网格编码容易存储，也更适合硬件实现，所以在编码领域中得到了人们的广泛关注，也占据了越来越重要的地位。MPEG-4中也加入了网格编码。...........1.2国内外研究现状近6年来，3D电影、电视已经非常贴近人们的生活。相比于传统2D的展现方式，3D技术带给人们更加真实的体验。人们除了在电影院可以选择观看众多热门3D电影外，更是可以在家看到3D电影、电视。目前广泛应用的采用2台参数完全相同的摄像机分别拍摄左右两幅图像传给双眼自行在人脑中合成的立体视频图像的双目立体视频技术

5、，也就是伪三维立体视频。长时间带着辅助工具观看立体视频极易产生疲劳感和不适感。所以真三维立体视频代替伪三维立体视频也是目前人们目前关注的热点。目前国际认可的比较成熟的编码标准如H.261、H.262、H.263和MPEG-1、MPEG-2系列都是针对单目立体视频的编码标准。一直以来还没有专门面向立体视频提出的评价标准，所以现在国际上很多专家学者都致力于研究专门针对于立体视频的标准和构建立体视频评价体系。除了考虑视频中连续图像序列产生的空域冗余之外，还要充分考虑左右视频信道的相关性和由此产生的时域冗余。因此立

6、体视频压缩编码的过程中要充分运用到运动估计、运动补偿和左右视差图的立体匹配概念，进而对立体视频的视差估计进行视差补偿，将双通道的编码传输变为对单通道和视差图的压缩编码，减少了计算的复杂度。相较于传统的将视频图像整幅进行编码传输的高复杂度的方法，MPEG-4将网格编码的方法加入到视频编码的标准中。传统的基于块的编码方法人为的划分块，并且在低比特率下会产生很严重的块效应。而基于网格的编码方法很好地避免了这些问题。网格的节点是图片的特征点（形状固定的对象要将网格节点设置在对象边缘处）[5]。........第二章

7、立体视频编码方法2.1立体成像原理为了方便系统的学习立体视频编码技术，本文采用双目立体视频为例。双目立体视频图像的拍摄采集使用两台完全一样的摄像机（两台摄像机光轴平行的叫做平行摄像机系统[8]两台摄像机光轴在远端相交的系统叫做汇聚摄像机系统[9]）。实际生活中平行摄像机系统很难实现，反而是汇聚摄像机系统更接近实际，效果也更为真实，但是其参数设定与计算较为复杂，因此以本文只讨论平行摄像机系统成像的相关技术[10]。平行摄像机系统的双目立体视频图像采集过程中中两台摄像机的光心距离与人的左、右眼的距离相近，左右两

8、台摄像机分别采集图像，并将采集到的图像分别传给左右眼睛，最后在人眼中进行成像。图2.1为平行摄像机系统配置图。Cl为左摄像机的三维坐标系，Cr为右摄像机的三维坐标系。两组X-Y、X-Z、Y-Z平面分别组成了两个三维坐标系。将两个坐标系原点（两个摄像机光心）的距离设为基线距离B。F为焦距。......2.2现有的立体视频压缩编码基础视频由连续图像序列组成，相邻两个图像帧的拍摄间隔不足50毫秒，所以相邻两帧的图像之间