基于深度学习的RGB-D图像处理关键技术研究

《基于深度学习的RGB-D图像处理关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于深度学习的RGB-D图像处理关键技术研究ResearchontheKeyTechnologiesofRGB-DImageProcessingBasedonDeepLearning学科专业：信息与通信工程作者姓名：倪敏指导教师：雷建军教授天津大学电气自动化与信息工程学院二零一七年十二月摘要随着新一代RGB-D相机的兴起，人们可以更加方便、快捷地同时获取彩色图像和深度图像，从而更有效地进行立体图像处理。现阶段，立体图像处理技术发展迅速，取得了显著的成果，特别是消费级RGB-D相机的问世，给立体图像处理领域带来了

2、新的活力。本文正是在这样的背景下，针对基于深度学习的深度图像超分辨率重建和RGB-D物体识别技术开展了深入的研究。本文提出了一种基于彩色信息引导的深度图超分辨率重建方法。该方法将彩色信息与深度信息共同作为卷积神经网络的输入，采用双流卷积神经网络实现深度图超分辨率重建。此外，为了更好得利用彩色信息，提出基于高分辨率彩色图和低分辨率深度图获得优化的边缘图，并将优化的边缘图嵌入到卷积神经网络中，来引导深度图的边缘优化，完成深度图像的超分辨率重建。实验结果表明，所提方法提升了深度图超分辨率重建的质量。本文还提出一种基于

3、卷积-递归神经网络和费舍尔向量的RGB-D物体识别方法。该方法综合利用彩色和深度信息，采用多数据模式的特征提取策略，进行RGB-D物体识别。对于彩色图像和深度图像，分别利用卷积-递归神经网络和卷积-费舍尔向量-递归神经网络提取物体的特征。此外，为了更加全面地获取物体信息的特征表述，引入灰度图像和表面法向量作为原始数据的补充，并利用卷积-递归神经网络提取特征。最后，对四种数据模式下提取到的特征进行融合，输入到softmax分类器中实现RGB-D物体识别。在标准的RGB-D数据库中对算法进行验证，实验结果表明，所提

4、算法可以有效提高物体识别率。关键词：深度学习，超分辨率重建，RGB-D，物体识别IABSTRACTWiththeemergenceofanewgenerationofRGB-Dcameras,peoplecanobtaincoloranddepthimagesmoreconvenientlyandprocessthestereoimageseffectively.Atthisstage,thetechnologyofstereoimageprocessinghasdevelopedrapidlyandachie

5、vedremarkableresults.Especially,theadventofconsumerdepthcamerashasbroughtnewvitalitytothefieldofstereoimageprocessing.Underthisbackground,thetechnologiesofdepthmapsuperresolutionandRGB-Dobjectrecognitionaredeeplystudiedinthispaper.Acolor-guideddepthmapsuperr

6、esolutionmethodusingconvolutionalneuralnetworkisproposedinthispaper.First,adual-streamconvolutionalneuralnetwork,whichintegratesthecoloranddepthinformationsimultaneously,isproposedfordepthmapsuperresolution.Then,theoptimizededgemapgeneratedbythehighresolutio

7、ncolorimageandlowresolutiondepthmapisusedasadditionalinformationtorefinetheobjectboundaryinthedepthmap.Experimentalresultsshowthattheproposedmethodimprovesthequalityofdepthmapsuperresolution.ARGB-Dobjectrecognitionmethodbasedonconvolutional-recursiveneuralne

8、tworkandfishervectorisalsoproposedinthispaper.Themethodusescoloranddepthinformation,andadoptsmultidatamodelsfeatureextractionmethod.Fortheoriginalcolorimageanddepthmap,theconvolutional-recursive