基于3d视频的深度图获取方法的研究与实现

《基于3d视频的深度图获取方法的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于3D视频的深度图获取方法的研究与实现【摘要】本文采用基于区域的立体匹配方法从立体视频图像对中获取稠密视差图。在区域窗口大小选取上采用K-均值算法，保证每个子窗口位于同一物体内部，窗口内深度信息趋于一致;采用NCR算法运用匹配窗口周围的环境信息，提高窗口选取的智能性和匹配的准确性，改善少纹理区域的匹配效果;采用双向匹配方法有效去除因遮挡等原因产生的误匹配点，提高匹配精度，得到初始视差图;同时研究视差图优化方法，得到高质量稠密视差图，为后期新视图合成等其它应用提供基础。【关键词】K-均值算法;邻域限制与放松;双向匹配;稠密视差图1.初始视差图的获取及预处理1.1视频图像和初始

2、视差图的获取5首先使用OpenCV从视频中提取出一帧图像作为拟研究对象。图1为本算法研究选取的图片。针对提取出的图像，采用区域立体匹配技术获取稠密视差图，再根据视差图与深度图之间的数量关系便可以得到视频图像的深度信息。首先选取一个内部包含待匹配点的固定大小的窗口作为考察区域，选定窗口的几何中心作为待匹配点;然后计算出窗口内部所有像素点的灰度信息和Ir（x，y）;在匹配图像的同一水平线上移动等大小的窗口并计算出每个窗口内部各像素点的灰度信息和Im（x，y）（只在水平方向上存在视差），在这里移动窗口时会设置一定的搜索范围，减少工作量，从而提高匹配效率;并根据参考图像和匹配图像窗口

3、内的灰度信息计算相似程度，本文采用相关函数来计算相关代价;最后当相关代价函数达到最小值时所对应的位移量即为待匹配点的视差值。图2即为采用基于区域的立体匹配算法获取的初始视差图。1.2背景区域的标定通过区域立体匹配技术得到的视差图背景区域出现许多斑点，匹配效果非常差。这是由于待匹配图像的背景属于纹理稀少区域，待匹配点不具备明显的区别与其他邻域点的特征。因此对纹理稀少区域进行了标定，只针对前景的高纹理区域进行匹配。对每个待匹配点所在的小窗口内部求彩色信息即R、G、B的方差值，根据方差值大小对窗口是否为背景进行划分。2.K-均值分割算法5K-均值算法是一种动态聚类算法，是对聚类数据

4、进行迭代至评价聚类性能的函数取得最优，从而划分出相互独立并紧凑的不同类别的聚类。首先从N个数据对象中选取K个对象作为初始聚类中心，计算其他对象与这些聚类中心的相似度。然后把这些对象分配到与之相似度最大的K个聚类中心代表的聚类。分配完所有数据对象后，重新计算出K个聚类中心的位置，再计算其他对象到新聚类中心的相似度，对剩余的N-K个对象重新分配聚类。重复直到前后两次分配后计算的聚类中心完全吻合。3.邻域限制与放松算法邻域限制是为了减少深度与中心子窗口不一致的邻域子窗口给匹配带来过大的影响，对不同窗口赋予不同权重。邻域放松则考虑到邻域子窗口和中心子窗口深度有差距但相差甚微的情况。为

5、了增加邻域匹配块的适应性，我们允许这种很小的深度差异存在。此时记分函数可表示为：（3-1）其中，Bi，j代表中心子窗口，Bk，l代表邻域子窗口。期望的视差值d即在此记分函数取得最小值时获得。（3-2）4.视差图的优化4.1双向匹配从左图像到右图像进行匹配得到一个视差值，然后逆向得到另一个视差值。只要左、右视差图中存在视差绝对值不一致的地方，那么就标记误匹配点：（4-1）5其中这个条件是指当左、右视差图中对应点视差差值的误差在一定的阈值范围内，那么就表示该点匹配正确，否则为误匹配点。4.2空洞填充本节针对上一节中视差为空白值的点进行填充优化。取分割区域内所有像素点的平均视差值填

6、补给空白值即可。最终可以得到一个高质量的稠密视差图。下图即为各算法加入前后得到的视差效果对比图：图1黄色小人图像图2区域匹配算法获取的视差图图3背景区域标定后得到的视差图图4K-均值算法加入后得到的视差图图5邻域限制与放松算法加入后得到的视差图图6优化算法加入后得到的视差图5.总结本文针对人工合成的3D视频图像背景区域纹理稀少的特点，首先将背景区域进行标定，之后采用一种新颖的基于K-均值分割的邻域限制与放松的立体匹配算法，并对由此得出的视差图进行双向匹配找到并标记误匹配点，并对其进行空洞填充进行优化。实验表明，该算法在解决纹理稀少以及遮挡区域误匹配等问题的效果比较显著，与全局

7、匹配算法相比正确率接近，但匹配效率比全局算法高出许多。参考文献5[1]M.BleyerandM.Gelautz.Alayeredstereoalgorithmusingimagesegmentationandglobalvisibilityconstraints.ICIP2004.[2]J.Sun，Y.Li，S.B.Kang，andH.-Y.Shum.Symmetricstereomatchingforocclusionhandling.CVPR2005.[3]周颖.深度图像的获取及其处理[M].西安电