基于多尺度互特征卷积神经网络的深度图像增强

《基于多尺度互特征卷积神经网络的深度图像增强》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于多尺度互特征卷积神经网络的深度图像增强作者姓名廖轩学科专业信号与信息处理指导教师张鑫副教授所在学院电子与信息学院论文提交日期2018年4月Multi-ScaleMutualFeatureConvolutionalNeuralNetworkforDepthImageEnhancementADissertationSubmittedfortheDegreeofMasterCandidate：LiaoXuanSupervisor：Prof.ZhangXinSouthChinaUniversit

2、yofTechnologyGuangzhou,China分类号：TP391.4学校代号：10561学号：201520109512华南理工大学硕士学位论文基于多尺度互特征卷积神经网络的深度图像增强作者姓名：廖轩指导教师姓名、职称：张鑫副教授申请学位级别：工学硕士学科专业名称：信号与信息处理研究方向：深度学习，图像处理论文提交日期：2018年4月12日论文答辩日期：2018年5月30日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：郑伟诗教授委员：金连文教授，孙季丰教授，梁添才教授级高工

3、，张鑫副教授摘要随着深度摄像头相关技术的不断发展，我们可以越来越容易获取深度图像。在虚拟现实，三维重建等领域，深度信息都具有很高的应用价值。然而，目前消费级深度摄像头获取的深度图像存在两个方面的问题：一个问题是深度图像常受到噪声干扰，存在因深度值丢失而引起的大黑洞；另一个问题是深度图像分辨率较低，不能够提供高精确度深度信息。受此影响，深度信息不能够被充分地利用，严重限制了基于深度信息的相关应用的发展。因此，深度图像增强成为急需解决的问题。针对上述问题，本文对深度图像增强进行了深入的研究，包括深度图像去噪

4、和深度图像超分辨率重建，主要研究内容和贡献如下：针对深度图像噪声的特点，提出了基于多尺度互特征CNN的深度图像去噪网络。这个端到端的深度图像去噪网络由数据驱动，实现了自动特征抽取，一共包含两个阶段：多尺度互特征学习和深度信息转换。对于多尺度互特征学习，我们设计了两个多尺度互特征生成器来提取更可靠的互特征。之后，深度信息转换子网络将利用这些互特征恢复出干净的深度图像。我们在常用的RGB-D数据库上进行了测试，与目前具有代表性的方法进行相比，结果表明我们提出的方法能够在PSNR数值评估和视觉效果两方面都能取

5、得更好的结果，同时具有较高的处理速度。此外，我们的模型也具有较强的泛化性能，能够处理实际场景中深度图像的噪声。对于深度图像超分辨率重建，我们提出了两种基于多尺度互特征的卷积神经网络，包括基于多尺度互特征引导的深层深度图像超分辨率网络（MSMF-DSR）和基于多尺度互特征和残差融合的深度图像超分辨率网络（RF-MSMF-DSR）。MSMF-DSR将多尺度互特征作为引导信息，避免了彩色图像中冗余信息的干扰，提升了深度超分辨率重建效果。根据低分辨率深度图像与高分辨率深度图像具有共同低频信息的特点，RF-MSM

6、F-DSR引入残差学习，将网络的学习目标转换为低分辨率输入到残差的非线性映射；此外，将深层网络和浅层网络结合，实现不同层级残差分量的残差融合，增强了整体网络模型的表征残差特征的能力，提升了泛化性，从而进一步提升了深度超分辨率重建效果。实验结果从RMSE数值评估和视觉效果两方面表明了上述两种方法的有效性。关键词：深度增强；深度图像去噪；深度图像超分辨率；多尺度互特征；卷积神经网络IAbstractWiththedevelopmentofthedepthcameratechnology,wecanobtai

7、ndepthimagesmoreandmoreconveniently.Inmanyfieldssuchasvirtualrealityand3Dreconstruction,depthinformationplaysasignificantrole.However,therearetwoproblemswithdepthimagescapturedbyconsumer-leveldepthcameras.Oneproblemisthatdepthimagesareoftendisturbedbynoi

8、seandtherearelargeblackholescausedbythemissingdepthvalues.Anotherproblemisthatthedepthimagehasalowresolutionandcannotprovidehigh-accuracydepthinformation.Theaboveproblemslimitthedevelopmentofrelatedapplicationsbasedondepth