基于彩色与深度图像的唇读技术研究.pdf

《基于彩色与深度图像的唇读技术研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、论文题目基于彩色与深度图像的唇读技术研究学科专业信号与信息处理学号201021020307作者姓名孙威指导教师李雷副教授万方数据分类号密级注1UDC学位论文基于彩色与深度图像的唇读技术研究（题名和副题名）孙威（作者姓名）指导教师李雷副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业信号与信息处理提交论文日期2013.04论文答辩日期2013.05学位授予单位和日期电子科技大学2013年6月28日答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。万方数据RESEARCHESONLIPREADINGUSINGTHECOLORANDDEPTHIMAGEA

2、MasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:SignalandInformationProcessingAuthor:SunWeiAdvisor:LiLeiSchool:SchoolofElectronicEngineeringIII万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使

3、用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日期：年月日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）签名：导师签名：日期：年月日万方数据摘要摘要唇读技术是一门新型的多种交叉学科研究技术，涵盖了图像处理、模式识别、计算机视觉中的关键技术。由于视觉方面的

4、优势，广泛应用于辅助聋儿康复、辅助语音识别、手势识别和个人身份认证等方面。本课题通过对国内外研究成果的总结，对唇读技术的各个关键模块进行了较为深入细致的研究。主要工作包括：（1）自建了小型彩色与深度图像数据库。由于本课题研究方向的特殊性，需要彩色图像与深度图像相对应的数据库，而目前并没有这样的成熟的数据库，因此自建了小型的彩色图像与深度图像相对应的数据库，并完成前期视频分割，得到发音的关键帧图像。（2）对唇部区域定位进行了相关的研究。采用基于人脸检测与五官相对结构的唇部区域定位方法对唇部区域进行精确的定位，并通过大量实验，研究得到唇部区域相对于鼻子在人脸区域分布的最佳参数。实验表

5、明该方法以及通过该方法得到的参数可以精确的标定唇部区域并且尽量排除其他干扰。（3）在唇部分割技术的研究方面，提出基于彩色与深度图像的唇部分割方法。对于彩色图像，采用基于Lab色彩空间a分量的唇部提取方法进行唇部提取，同时在阈值选择方面进行了研究，通过实验证明应用Otsu法能够得到更好的分割阈值。对于深度图像通过彩色图像的映射得到深度图像的唇部区域，对深度图像的唇部区域利用k均值聚类进行分割。并且在两种图像的结合方法和除噪方法上进行了研究。实验证明基于彩色与深度图像的唇部分割方法能有精确有效的将唇部像素和非唇部像素分离。（4）在唇部特征提取方面，研究了基于投影法和可变模板相结合的特

6、征提取方法。首先利用投影法较为精确的找到可变模板的初始化点，然后令可变模板在初始化点周围小幅度迭代，这样的方法大量减少了迭代的次数，提高了可变模板的匹配速度。另外，在识别方法上利用SVM分类方法进行了分类实验，实验证明该方法能够提高唇读系统的识别率。关键词：唇读，彩色与深度图像，SVM分类，可变模板，唇部定位I万方数据AbstractAbstractLip-readingtechnologyisanewinterdisciplinaryresearcharea,coveringseveralkeytechnologiesofimageprocessing,patternrecog

7、nitionandcomputervision.Withitsvisualadvantages,itiswidelyusedinassistantrehabilitationofthedeaf,assistantvoicerecognition,gesturerecognition,andpersonalidentityauthenticationandsoon.Basedonthesummaryofpresentresearchresultshomeandabroad,thek