用声音识别面部表情，这支队伍做到了.doc

《用声音识别面部表情，这支队伍做到了.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、用声音识别面部表情,这支队伍做到了　　随着VR产业的开枝散叶和走向成熟，VR与众多其他技术的结合也展现出了极大的应用潜力。比如在刚刚结束的ViveX第三批团队DemoDay上，就出现了数家“丢掉”头显、只留下追踪方案+Tracker的企业。　　RedPillLab是此次ViveX中唯一一支来自台湾的团队。而能够从数千家申请企业中脱颖而出，正是因为公司将独家的AI技术和Tracker相结合，成功实现了低成本的全身动捕方案。在DemoDay之前，记者也特地与公司的两位创始人RH和Brian深入了解了背后的技术，以及

2、亲身体验了一把随时“变身”卡通人物的经历。　　　　成本不到2万块！用AI识别你的声音　　对于大多数人来说，“全身动捕”听上去是一项非常遥远和高大上的技术。实际上，这项本来用于影视行业的技术在近年来已经逐渐在泛娱乐产业得到应用，比如最近大火的“虚拟主播”就大都采用了全身动捕，而非真的使用人工智能。　　在ViveTracker推出之时，其能够以低成本方式实现动作捕捉的能力也获得了不少关注。RedPillLabs正是利用了Tracker的这一特性实现了对用户身体的捕捉，同时再通过AI进行面部表情的深度学习计算，从而在

3、虚拟形象身上实时呈现出真人表演者的动作。　　但RedPill最特殊的一点在于，和其他通过摄像头捕捉面部表情的方案不同，他们选择捕捉用户的声音。　　“我们认为声音是被很多人忽视的，”RH说。　　据他介绍，公司的这套系统在通过麦克风捕捉到用户的声音之后，借由AI对声音数据进行实时的分析，然后同步在虚拟形象脸部生成表情。这里的表情包含两部分，一个是实时的嘴形，其他部分则通过眉毛的运动来表现。　　　　这样的描述不禁让我想到了Animoji。当然苹果采用了TOF方案，也就是通过“刘海”那处的一系列深度摄像头来实现实时的面

4、部捕捉。但是RedPill的声音方案真的靠谱吗？　　从记者的体验来看，声音转化成面部表情的效果居然出人意料的不错。从视频中我们可以看到，动画人物嘴部的动作基本上和表演者的声音没有延时，同时也非机械的一张一合，而是随着声音的变化在幅度上不一样。同时，动画人物的眉毛也会在发声的过程中一起运动，包括眼睛的大小也会有小幅度的变化，这些元素交织在一起呈现出虚拟人物表情的变化。　　据Brian介绍，目前世界上正在研发这类技术的仅有RedPill、英伟达和迪士尼。英伟达技术的限制在于，需要锁定同一个表演者的声纹和虚拟角色；迪

5、士尼则需要先将要讲的东西变成文字，再让机器处理成虚拟人物脸上的实时表情。　　除了面部表情，RedPill通过Tracker+Lighthouse对表演者身体动作的捕捉也已经做到非常自然。在体验的20分钟过程中，动捕没有出现卡顿现象，蹲下、坐下、转身和小跑时的追踪也没有问题，肩膀和手腕也可以转动。由于公司的这套软件基于Unity的架构开发，因此也可以通过手柄上的按键实时切换虚拟表演的背景图片（视频），以及为虚拟角色设计武器、交互等。公司甚至还自行开发了一款手套，可以更为精细的模拟出手指的动作。　　　　Brian还

6、谈到，目前这套方案最多可以让两位表演者同时进习动捕的表演。但随着新一代Lightohuse的推出，接下来将会实现4个人在10*10平方米的空间内同时表演。　　而实现这些效果的前提——用户需要花费的成本相当低。对于有Vive的用户，只需另外购买4个Tracker，以美元计算为400刀；对于没有Vive的用户来说，目前购入一套Vive仅需500刀，也就是硬件成本在900刀左右。　　　　从VR社交转向教育和直播　　实际上，我和RedPillLabs的CTO，也是创始人之一的Dobry早在去年7月的RISE香港展会上就

7、有过交流。但是在9个月之前，公司还希望将这套系统用在VR社交平台上，AI技术可以通过对大数据的分析和深度学习来对Avatar的动作进行预测，数据越多，Avatar呈现出来的动作就会越自然和符合逻辑。　　　　但如今，由于VR的主流之路并不顺利，公司的商业模式也已经出现了明显的转移，即从toC转向toB。RH说，接下来公司最希望在大陆的教育市场落地，尤其是针对儿童的早教和学前教育。在他看来，除了因为教育市场比较大以外，儿童对于虚拟角色的接受度也非常高。在台湾，公司已经在一家少儿英语学习中心中落地，采用入场门票收费的

8、方式（约100元/小时）获取收入。　　　　除了实地的表演之外，RedPill的一个更为远大的目标是希望能够将整套方案上传至云端，让更多的用户、表演者在足不出户的情况下，就可以在RedPill远程直播中心进行节目的直播和收看。　　Brian认为，云端+电视盒子的方式能够让更多人接触到这种全新的远程教育的方式，而且成本并不会太高。如果公司能够和电视盒子的服务供应商达成合作，就可以直接将自己