多视点重构算法探究和实现

《多视点重构算法探究和实现》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、多视点重构算法探究和实现摘要：本文基于视点重构单元进行研究，通过深度图绘制算法（DepthImageBasedRendering简称DIBR）探讨图像合成所需的视差源序列一一虚拟视点，以实现多视点裸眼立体图像合成的预处理阶段，实验结果表明采用DIBR算法不仅可以极大地减少参考图像的数量，而且还能产生实时髙效且具有任意位置的虚拟视点图像，非常符合多视点裸眼立体显示中视点源序列的需求。关键词:DIBR算法;虚拟视点;图像合成中图分类号：TP391.411引言（DIBR算法）本文基于裸眼多视点立体电视进行研究，采用“二维+深度信息”的解

2、决方法，即在我们平常所看到的二维图像基础上增加一个Z分量的图像（即深度图），从而使用户产生立体视觉［1］。这种设计理念追本溯源就是最大程度的重复使用二维世界的内容和概念，其关键在于虚拟视点的合成。本文围绕参考图像和与其对应的深度信息合成场景中的虚拟视点图像进行了相关研究。实验结果表明DIBR算法不仅可以极大地减少参考图像的数量，而且还能产生实时高效且具有任意位置的虚拟视点图像，非常符合多视点裸眼立体显示中视点源序列的需求。2坐标空间基于DIBR算法实现虚拟视点绘制，需要准确的反映真实场景与图像平面的变换，因此需要通过坐标系间的相互

3、转换来实现。这里与之密切相关的坐标系有：世界坐标系，摄像机坐标系，图像坐标系、像素坐标系。(1)世界坐标系(X,Y,Z)是客观世界的绝对坐标，它不但说明了真实世界里物体所在的位置，还指明了观察摄像机在真实世界所处的位置［2］。它可以设定为任意位置，但一旦选择，就不能随意改变。(2)摄像机坐标系，即以摄像机的光心为坐标原点制定的坐标系统(Xc,Yc,Zc)o这两个坐标系之间关系可以表述为公式(1)：(3)图像坐标系：用二维矩阵(x,y)表示，是三维空间点对成像平面上的投影。(4)像素坐标系：以像素为单位，用二维矩阵(u,v)表示，是

4、三维空间点在成像平面所处的具体位置。其中(uO,vO)是图像坐标系坐标原点在像素坐标系上的坐标。3针孔相机模型CCD摄像机的光学成像原理一般是由针孔相机模型(或称作线性成像模)来表示，模型如图(1)所示。假设P点是三维空间中的任意一点，则P点和相机光心Oc的连线在成像平面的交点p即为P点在图像平面上所成图像的位置。假设P点的世界坐标是(X,Y,Z),摄像机的坐标是(Xc,Yc,Zc),图像坐标是(x,y),像素坐标是(u,v)o如果P点的世界坐标和相机的相关参数是已知的，那么P点的图像坐标(x,y)可由摄像机坐标(Xc,Yc,Zc

5、)和相机的焦距?得出，如公式(3)所示：假设相机参数和一个三维空间点的世界坐标已知，那么由此可以计算出该点在成像平面上所对应的坐标，从而得出针孔相机模型中像素坐标与世界坐标的关系［2］,用公式(4)表示：下面对公式(4)作具体说明：P是3X4的投影矩阵，由摄像机的内部参数?/dx,?/dy,uO,vO及其外部参数R,t共同决定。已知空间任意一点P,如果已知了它的世界坐标2(X,Y,Z,1)T,则可推出P的像素坐标p(u,v)；同理，若已知空间某点P在图像平面的投影点坐标及其深度值Z,便可得出P点的世界坐标(X,Y,Z,1)T：5］

6、o43D渲染方程DIBR算法是采用已知图像及其每个像素对应的深度值，通过3D变换(3DWarping)合成虚拟视点的过程。该过程主要可以分为以下两步：首先由深度信息将已知图像上的所有像素点重新投影到与之对应的3D空间中的位置；第二，再将这些三维空间点投影到目标图像的平面上［7］。这种由二维到三维的重投影及从三维到二维的投影方法简称为三维图像变换。三维图像变换是基于深度图将已知图像的像素点投影到虚拟视点的图像中的，在针孔相机的模型中，三维空间点的世界坐标和像素坐标二者间的关系如公式（5）的推导［1］：其中Al,Rl,tl是参考相机的

7、参数，A1为相机的内参矩阵，Rl,tl为外参矩阵；Z1在摄像机坐标系中是Z轴分量在三维空间点相应于参考相机的深度值。由公式（5）可以得出参考视点所在像素平面的点（ul,vl）投影到与之对应的3D空间点（X,Y,Z）o其中A2,R2,t2为虚拟相机的相机参数，A2是内参矩阵，R2,t2是外参矩阵；Z2为三维空间点与虚拟相机对应的深度值。通过公式（6）,3D空间点（X,Y,Z）在虚拟视点图像平面上投影点为（u2,v2）0假设世界坐标系和参考视点的摄像机坐标系重合，则以上两式合并得出适用真实的场景的3D图像变换方程，即3D渲染方程：根据

8、3D渲染方程，ml,m2分别为参考视点图像和虚拟视点图像成像平面中的像素点；Al,A2分别是参考相机和虚拟相机的内参矩阵；Zl,Z2分别是该三维空间点所对应的三维空间对应于参考相机和虚拟相机的深度；R—般是一个3X3的矩阵，为虚拟相机对应于参考相机