与汉语语音同步的三维人脸动画的研究

《与汉语语音同步的三维人脸动画的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、与汉语语音同步的三维人脸动画的研究----动漫设计论文-->第1章绪论1.1研究背景及意义与语音同步的三维人脸动画技术是对一个人的声音进行处理，使之在虚拟的三维人脸头像上合成与语音对应的口型动画(lipanimation)和面部表情(facialexpressions)。作为人机交互中直接与用户打交道的视觉窗口，能够让用户直接获得真实的感觉，受到越来越多研究者的关注。该项目涉及到计算机科学、认知科学、人工智能、机器学习、心理学、声学等众多交叉学科的知识，不仅具有重要的理论研宄价值，而且在可视通信、虚拟会议、游戏

2、娱乐和教学辅助等领域有着广阔的应用前景。与汉语语音同步的三维人脸动画技术可以应用到现实生活中的大部分领域，比如新闻播报、对话系统、虚拟会议、3D游戏娱乐等方面，不仅可以提高画面的真实感，而且可以增强人机交互性和可理解程度。在现如今的云计算与大数据时代背景下，该技术的研究成果不仅具有重要的理论研究价值，还具备广阔的社会经济效益。具体应用包括：试想，当我们与大洋彼岸的陌生朋友进行网上聊天时，第一次见面大家都不想以庐山真面目示人，仅仅通过文本的交流，难以提高聊天时相互之间的兴趣，这个时候，我们可以借助虚拟人技术，作为

3、人机交互系统中直接与用户打交道的视觉窗口，可以使用户达到一种身临其境的感觉。1.2国内外研究现状Beckman的介绍⑴使我们意识到语音科学中的基础研宄与语音合成技术之间的复杂关系。他以语调合成为例，说明了纯理论研究与实际应用之间有效的交互作用。McClain等人式图完成基于解剖学和生理学的语音可视化建模。作为一个特例，已成功地建立了描述唇部及其相关控制过程的模型。令人感到鼓舞的是，作为可视语音的一个信号，这一领域已幵始受到人们的关注。接下来的数十年,美国MIT的BiologicalandputationalLe

4、arning中心、美国西北大学、瑞士日内瓦大学、伊利诺伊州大学、PEG-4兼容的三维人脸模型——Candide-3模型，Candide模型延续至今，己经发展到第三代，即Candide-3模型。该模型主要的控制参数包括静态人脸定义参数和动态人脸定义参数。近几年，Candide模型已发展成为一种较为流行的三维人脸模型。其中一个重要的原因在于，它是一个较为简单，易于操控的模型，另一个原因是它看上去比较自然、逼真，基本符合人脸五官及外部轮廓的结构。第3章协同发音建模.......253.1语音口型匹配机理.......

5、...25第4章三维人脸语音同步动画的实现.........314.1语音合成技术.........31第5章实验结果与效果评估.........365.1三维人脸语音动画系统的框架与组成.......36第5章实验结果与效果评估5.1三维人脸语音动画系统的框架与组成在提高自然度的同时，实验室主张幵发多模态的语音合成系统，该系统在合成语音信号时，显示出会说话的虚拟人。多模态合成在许多理论基础上具有说服力，最重要的是，听音者可以利用说话人面部所附加的信息来提高可懂度，识别意向消息。直到目前，大多数语音合成上的研究

6、都主要集中在声学形态，而忽视了这样一个事实：对于耳聋或者有听力障碍的听众，他们是通过显示说话人的脸来获取有用的声音信息，在以后的几年中，人脸语音动画有可能成为语音合成系统未来发展的趋势。5.2评估方法前四章主要围绕汉语语音同步的三维人脸动画的研究，合成了一个基于汉语文本的三维人脸语音同步动画系统。那么如何衡量可视语音系统的合成质量呢？需要引进一个评价准则，来评估系统的好坏，所以应该规定具体的量化评估指标，来让用户能够从多方位去认知本文提出的语音可视化合成方法。总的来说，本文所提出的评估方法包括主观和客观两个方面

7、。参照语音合成技术中对语音合成系统的整体性能测试，我们在此性能测试的基础上进行改进，并对本文合成的系统进行评估，对系统从六个方面用5分制进行打分，然后根据主观得分来衡量人脸语音动画系统的好坏。.........结论本文合成了一个汉语语音同步的三维人脸语音动画系统，该系统在合成语音信号时能显示说话人的脸。听音者可以利用包含在视觉显示的说话者的脸中的附加信息来提高可懂度，识别意向消息。随着计算机技术的不断发展，虚拟人语音动画不仅具有重要的理论研究价值，而且在可视通信、虚拟会议等诸多领域有着广阔的应用前景。本文的主要

8、贡献包括以下几个方面：(1)三维人脸建模：通过研究人脸解剖学和发音器官运动轨迹的规律，构建了一种基于肌肉模型和运动几何学模型的三维人脸控制模型，通过改变肌肉收缩量和旋转角度，就可以实现网格点的形变，为三维人脸动画的生成奠定基础。该方法可以很好地实现眼睑或嘴唇的张闭效果，克服了当前人脸表情由一个中性化人脸合成为启唇露齿的人脸动画的不足。为了配合发音器官的发声，在三维人脸模型中又添加了牙齿