基于深度学习的光场图像深度估计.pptx

《基于深度学习的光场图像深度估计.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于深度学习的光场图像深度估计报告人：尹忠诚2017年6月13日研究背景和意义1主要内容光场成像原理2深度估计相关特征3深度学习相关工作4实验结果及未来工作5研究背景和意义近年来，随着光电技术及器件的发展新型成像设备不断涌现，其中光场成像以其独特成像过程及优势备受研究者关注。传统成像方式记录了光辐射在成像平面的二维位置信息，而光场成像记录了光辐射在传播过程中的四维位置和方向信息。由于光场成像较传统成像多出2个自由度，因而在图像重建过程中，能够获得更加丰富的图像信息。光场成像能够实现数字重聚焦、合成孔径、获取大景深图像，以及重建三维立体图。研究背景和意义由于光场图像包含丰富的

2、图像信息，这为解决许多图像处理的传统问题提供了新的途径。单幅图像深度估计是病态问题，而光场图像由于其特殊的成像方式，可以实现一次成像获取同一场景在不同视角下的多视角图像，且相邻视角之间基线极短，这使得场景深度更容易准确估计。目前，许多基于光场图像估计场景深度的方法被提出。研究背景和意义1主要内容光场成像原理2深度估计相关特征3深度学习相关工作4实验结果及未来工作5光场成像原理光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示，光场数据的获取为计算成像提供了很多新的发展方向。光场可以看作是同时捕获场景的多视角图像，从而提供视差及场景深度信息。光场成像原理光场成像过程

3、光场成像的特点1.拍摄方便，拍摄条件约束少2.对场景多视角的稠密采样3.允许将视差空间作为连续空间处理4.在没有聚焦的情况下，可以使用基于外极平面分析的算法5.能够实现数字重聚焦、合成孔径、获取大景深图像，以及重建三维立体图。光场成像原理研究背景和意义1主要内容光场成像原理2深度估计相关特征3深度学习相关工作4实验结果及未来工作5（1）EPI直线斜率线索alpha=0.5alpha=1alpha=1.5这里取[280,578]坐标处在不同聚焦参数alpha下的EPI图像，当该点为聚焦点时，EPI图像斜率为零。EPI中直线斜率与场景深度成反比，且当某像素点聚焦时，其EPI斜率

4、为0。深度估计相关特征alpha=0.5alpha=1alpha=1.5（2）聚焦线索用于反映图像中局部区域的清晰度，当某像素位于正确深度下时其局部最清晰。深度估计相关特征（3）匹配线索alpha=0.5alpha=1alpha=1.5用于反映在不同视角下同一像素点的匹配程度。当某像素位于正确深度下，其在不同视角下的像素值最接近。深度估计相关特征研究背景和意义1主要内容光场成像原理2深度估计相关特征3深度学习相关工作4实验结果及未来工作5深度学习相关工作深度估计ConvolutionalNetworksforShapefromLightField.CVPR.2016U-sh

5、apedNetworksforShapefromLightField.BMVC.2016DeepDepthFromFocus.CVPR.2017视角合成Learning-BasedViewSynthesisforLightFieldCameras.CVPR.2016研究目的使用CNN网络估计给定光场数据的深度信息。主要贡献提出了一种新的方法估计光场域下，图像中每个场景点匹配的2D超平面方向。提供了合成LF数据集，该数据集提供高精度深度标签，并且其场景可以随机生成。ConvolutionalNetworksforShapefromLightField.CVPR.2016使用2

6、0个不同的三维物体，通过前景、背景位置及远近的调整，生成了25张LF图像，使用20张作为训练，5张作为测试，图像大小640x480x11x11网络结构为4层卷积层和一个全连接层，具体参数如下图：名称L1L2L3L4L5类型ConvConvConvConvFC卷积核7x77x75x55x5补0pad3pad0pad2pad0特征数64641281281U-shapedNetworksforShapefromLightField.BMVC.2016主要贡献采用全卷积网络及U型网络结构对上一工作进行改进，可以用于任意尺度的EPI图像的输入，克服了图像块带来的局限性，且可以快速估计

7、整个4D视差场。全卷积网络编码网络在EPI空间尺度上进行压缩提取特征，解码网络通过跨层连接的方式估计EPI上每个像素的斜率。网络结构及具体参数如下图：编码网络解码网络除了下采样卷积及上采样卷积层，卷积核为3x3，其它卷积层卷积核采用3x5，每个卷积层通过补0保持特征图大小不变。在编码网络特征图个数每隔2层翻倍，分别为16,32,64，解码网络与之相反。网络输出与输入维度相同。合成图像上测试结果真实图像上测试结果研究背景和意义1主要内容光场成像原理2深度估计相关特征3深度学习相关工作4实验结果及未来工作5四层卷积，卷