以竞赛为载体培养创造型人才 - 清华大学计算机系

《以竞赛为载体培养创造型人才 - 清华大学计算机系》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、语义脸像的分析与生成王晓慧张申贾珈蔡莲红普适计算教育部重点实验室清华信息科学与技术国家实验室（筹）清华大学计算机科学与技术系，北京，100084摘要：本文提出了一种基于语义维度的虚拟说话人脸像生成算法。针对虚拟说话人“语义脸像”生成，提出7个语义维度，对文本、脸像所表达的语义信息进行量化描述。建立虚拟脸像库，对虚拟脸像进行语义维度标注。基于对语义维度和脸像局部状态特征参数的相关性分析，采用基于决策树的MRT回归算法，建立了语义维度到局部脸像状态的参数预测模型，实现了语义驱动的参数化虚拟脸像生成算法

2、。定义了语义维度的“脸像表达权重”和“典型脸像状态”，描述了不同语义维度对于脸像认知表达的重要程度。感知评测实验表明，本文提出的语义脸像生成算法，能够生成与情境语义相配合的虚拟脸像，从而为具有丰富语义表现力的虚拟说话人合成奠定了基础。关键词：人脸；表情；语义；决策树11．引言[1]脸像是人类非言语交流中最富表现力的沟通要素。对于脸像的研究吸引了生物学、心理学、认知科学以及计算机科学等领域的众多研究者。Ekman等人建立的“人脸表情系统”[2]认为脸像是情感的外部表现，能够表达5-7种基本情感。Ru

3、ssell提出的“维度-情[3]境”(dimensions-context)脸像认知模型，认为情境语义是影响脸像表达和认知的关键因素。[4]计算机科学对于脸像的研究多集中于人脸表情的识别、理解与生成，对于脸像在表情功能之外的研究尚比较欠缺。本文在情感脸像的研究基础上，通过引入言语语义，使得虚拟说话人脸像除了表情之外，同时具有丰富的语义表现力。本文将能够贴切表达言语语义的面部状态称之为“语义脸像”。围绕着虚拟说话人语义脸像生成，本文提出并着重解决以下三方面问题：1)脸像辅助表达了言语中的哪些语义要素

4、？2)这些语义要素应如何量化描述？3)如何利用语义信息指导脸像生成，建立语义脸像的可计算模型？首先，借鉴认知语言学的研究成果，本文认为脸像表达了言语中的“情态语义”(Modality)，即语言文字中所蕴含的代表说话人主[5]观态度的语义成分。在言语交流中，情态语义可以通过语调、语速、眼神、表情、肢体动作等多种手段表达，而本文所关注的正是其中的脸像表达。其次，借鉴心理学中的情感[6][7]维度模型和语言学中的语义特征分析，提出描述脸像情态语义的7个维度，并对文本情境进行了语义维度标注，建立了语义的量

5、化描述方法。再次，建立虚拟语义脸像库，进行7维语义参数标注，并同时提取脸像的局部状态参数。最后，采用基于决策树的回归算资助项目：国家重点基础研究发展计划（973）（2006CB303101），国家自然科学基金（90820304）联系作者：王晓慧，E-mail：xiaohui0506@gmail.com法，建立语义维度到脸像局部状态的参数预测模型，实现了语义驱动的脸像生成；并定义语义维度的“脸像表达权重”和“典型脸像状态”，对语义维度与局部脸像状态的关系进行了分析。感知评测实验表明，采用本文提出的语

6、义脸像生成算法，所生成的虚拟脸像能够较好地与情境语义相配合，为实现具有丰富语义表现力的虚拟说话人合成奠定了基础。2．语义维度选取在分析语义脸像之前，要明确脸像表达了哪些语义信息，如何对其进行量化。从语言学的角度来看，自然语言中往往蕴含了代表说话人主观态度的信息，包括信念、观点、情绪、态度、观察角度、意图等等，被称为“情态语义”。作为一种语义范畴，情态语义被定[5]义为“说话者的说话方式，说话者用这种方式表达对交际中谈及的情况所持的态度”。[7]语言学家利用语义特征分析法得到情态语义的基本特征包括意

7、志、态度、评价三个方面。本文所研究的“脸像”是指说话人在言语交流中表现出的面部状态。借鉴情感计算中[8]的维度分析方法，参考语言学家对情态（Modality）的语义特征分析，选取了7个维度对情态语义进行量化。“愉悦度”、“激活度”和“紧张度”描述心理状态，“优势度”和“关注度”刻画对他人和环境的态度，“确信度”描述观点，“力度”表达意志和影响力。[8]对中科院心理所设计的80个常见心理情境进行以上7个语义维度标注。按照语义特[7]征分析的二元偶分标注法，在每个维度上采用+1，-1二元值，分值为0代

8、表情境没有体现出相应的语义维度，即不选择该语义维度进行标注。标注结果显示，平均每个情境采用5个语义维度进行描述，平均每个语义维度描述了63个情境，占情境总数的78%。因此本文认为上述的7个语义维度，可以较为充分地描述说话人内心的情态信息。本文提出了语义脸像分析生成的语义参数“语义-脸像”脸像参数情境文本工作流程如图1所示。建立虚拟脸像预测模型库，得到脸像的语义维度标注和局部脸像状态参数，采用基于决策树的学习算模型训练语义维度局部脸像状态法，训练得到“语义-脸像”预测模型。通过对言语