基于max-msp-jitter的实时表情捕捉系统设计

《基于max-msp-jitter的实时表情捕捉系统设计》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于Max/Msp/Jitter的实时表情捕捉系统设计摘要：随着数字影像技术的发展，传统的逐帧或关键帧技术已经难以满足数字影像的制作需求，动作及表情捕捉技术越来越受到人们的重视。本文从动作捕捉技术的需求出发，阐述了当今主流的动作、表情捕捉技术的发展现状及其特点。着重论述了基于Max/Msp/Jitter的实时表情捕捉系统的设计思路及实现路径，为开发成本较低、捕捉精度可控、环境适应度较高的轻量级表情捕捉系统提供了一个可参考的思路。　　关键词：Max/Msp/Jitter表情捕捉低成本人脸表情动画　　中图分类号：TG156文献标识码：

2、A：1007-9416（2016）01-0000-00　　1动作捕捉技术的发展　　1.1　　基于Max/Msp/Jitter的实时表情捕捉系统设计摘要：随着数字影像技术的发展，传统的逐帧或关键帧技术已经难以满足数字影像的制作需求，动作及表情捕捉技术越来越受到人们的重视。本文从动作捕捉技术的需求出发，阐述了当今主流的动作、表情捕捉技术的发展现状及其特点。着重论述了基于Max/Msp/Jitter的实时表情捕捉系统的设计思路及实现路径，为开发成本较低、捕捉精度可控、环境适应度较高的轻量级表情捕捉系统提供了一个可参考的思路。　　关键词：

3、Max/Msp/Jitter表情捕捉低成本人脸表情动画　　中图分类号：TG156文献标识码：A：1007-9416（2016）01-0000-00　　1动作捕捉技术的发展　　1.1动作捕捉技术的演进与应用　　动画影像的发展史就是一部影像技术的发展史。早期的动画要求制使用逐帧绘画的方式进行，这一阶段的动画创作工作量巨大，动画制作速度缓慢。计算机技术在动画制作中的应用改变了这一状况，逐帧绘画方式逐渐由计算机关键帧技术所替代，在人物造型制作完成后，制只需控制动画角色在关键帧运动姿态，关键帧之间的动态效果由计算机自动生成，这种方式极大地降

4、低了动画制的工作量，提高了动画产品的生产效率[1]。然而关键帧技术仍然存在两个缺陷，一是大型动画作品的制工作量仍十分巨大；二是基于关键帧的动画在描绘运动姿态上难免生硬之感，尤其在展现情感丰富、变化细微的面部表情时，关键帧动画往往难以胜任。　　随着动画技术的发展，人们开始尝试使用计算机对动作、表情进行复制从而提高动画真实度，动作捕捉技术出现并逐渐开始应用[2]。动作捕捉又称为表演捕捉，是指通过对表演者真实运动轨迹的捕捉，形成运动数据，将数据映射到动画模型上，从而实现将表演者的行为复制到动画模型上的目的。早期的动作捕捉技术可追述到上世

5、纪70年代的迪斯尼公司，从80年代开始动作捕捉技术逐渐走向应用和商业，出现了多种动作捕捉装置和程序。动作捕捉技术极大地提高了动画角色动作的真实性，近年以《阿凡达》为代表的一系列电影更是将动作捕捉技术拉入大众视野，导演通过一套复杂、精密的动作捕捉系统，对演员动作、表情进行捕捉，制作出真实度极高的动画效果，收到了良好的市场反应[3]。　　1.2从动作捕捉到表情捕捉　　随着动作捕捉技术的成熟和广泛应用，人们的视线不仅仅停留在对于肢体动作的捕捉上，对于人类情感表达最为丰富的面部表情也在进行着捕捉的尝试。以ImageMetrics表情捕捉系

6、统为例，使用摄像机直接将用户表情采集下来，通过后期算法将表情变化映射到三维模型上，获得了良好的效果。ImageMetrics表情捕捉系统在电影《哈利波特与凤凰社》、《狼人》等影片和《无尽的任务2》、《鬼泣4》等游戏中的动画角色面部表情的创作中都有不错的表现。　　由于面部表情丰富而且变化细微，很多用于肢体动作捕捉的方法都无法应用于表情捕捉，例如动作捕捉中的机械式、声学式和电磁式运动捕捉方法，都难以应用于表情捕捉领域。如今应用较为广泛的是基于计算机视觉的表情捕捉技术，即通过计算机视觉对表演者的面部表情进行采集和分析，将图像信息数据化，

7、从而完成虚拟动画角色表情的生成和控制[4]。这种表情捕捉技术主要分为两种类型：一是基于面部结构识别的表情捕捉技术，使用摄像机直接采集表演者面部表情，通过算法识别出表演者的面部结构，从而计算表情变化数据并应用于动画角色的表情制作，这种方法往往算法的运算量较大，往往实时互动性不佳。另一种方法是基于识别点（Marker）的表情捕捉技术，即在表演者面部粘贴特殊标志或发光点作为计算机视觉的识别点，使用多台摄像机多角度采集表演者面部表情变化，通过算法定位和追中识别点在空间中的位移情况，从而达到记录表演者面部表情的目的，此类方法也被应用于肢体动

8、作捕捉中。　　目前基于计算机视觉的表情捕捉系统往往成本昂贵，需要专门的采集场地和大量的硬件设备才能完成，资金预算有限的中小型企业和研究机构往往难以负担。同时针对越来越多的新媒体现场表演的需求，对表情捕捉系统的实时性也提出了更高的要求[5]。因此开发