嵌入式手语合成技术

《嵌入式手语合成技术》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、嵌入式手语合成技术一、立项依据1、目的和意义研究出一种可以用于电视、手机上的支持多种语言的手语合成系统。系统可以把电视和手机中以声音和文字形式承载的语言信息转换成手语信息，并通过数字化的虚拟人表示出来。该技术可以让成千上万的聋哑人和正常人一样看电视，使用手机，享受现代化数字技术为人类带来的便捷。手语合成系统是智能人机接口的一个重要研究课题.合成手语不仅有助于聋人使用各种信息,而且可以帮助聋人参加各项社会活动(如观看电视),具有十分重要的应用价值和社会意义2、国内外概况国内主要研究者有：中科院计算所的高文教授、王兆其教授等研制的“中国手语合成系统”，该系统采用先进

2、的传感器设备(包括6DOF传感器和数据手套)建立中国手语词库，然后应用合成技术，对于给定文本句子(可由健听人话语转换而成)，自动合成相应的人体运动数据。最后应用计算机人体动画技术，将这些运动数据应用于虚拟人，由虚拟人完成合成的手语的运动。其他研究者有哈尔滨工业大学宋益波，姚鸿勋等和北京工业大学尹宝才教授。国外主要研究者有：美国宾夕法尼亚大学（UniversityofPennsylvania）的把英语翻译成美国手语的TEAM系统，输入üInput:useSTAG(SynchronousTreeAdjoiningGrammar)rulestobuildanASLsy

3、ntacticstructureüOutput:aglossnotationwithsomeadditionallimitedinformationaboutmorphologicalvariations,facialexpressions,andsentencemoodattached；UniversityofEastAnglia的VISICAST系统，translatingfromEnglishtextintoBritishSignLanguageüusestheCMULinkParsertoanalyzeaninputEnglishtext；üusesPr

4、ologdeclarativeclausegrammarrulestoconvertthislinkageoutputintoaDRS(DiscourseRepresentationStructure)forthetextüAsimplealgorithmwasusedtotransformtheDRSintoaninputformappropriatefortheHPSG-basedgenerationprocesswhichüfollowed.爱尔兰都柏林学院的（O‘ReillyInstitute,Dublin,Ireland）ZardozüEnglish-

5、to-ASLtranslationarchitectureüusedasetofhand-codedschemataasaninterlinguaforatransfercomponentASLWorkbench。üusesalexical-functionalgrammar(LFG)foranalysisoftheEnglishtexttoafunctionalstructureüOutput:signstream1、市场预测和发展趋势一、研究开发内容、方法、技术路线1、具体研究开发内容和要重点解决的技术关键问题a.快速手语库构建算法b.高效手语库压缩算法c.

6、虚拟人动作平滑与拟合算法d.书面语言到手语的机器自动翻译e.大词表特定人连续语音识别技术难点：a、机器翻译§汉语和汉语手语存在着很大的区别ü语言表达形态ü基本词汇ü句子结构§Non-manualsignals建立有难度当前翻译的常用方法：§基于转换的方法§基于中间语言的方法§直接的方法b、手势库的建立两种方法：§手工编辑ü数据量大，编辑的数据比较准确§运动跟踪（数据手套）ü方便，形象自然，但容易受噪声的干扰§两者结合的方法c、三维人体的显示虚拟人模型的表示手势之间的平滑过渡虚拟人的姿态控制虚拟人的non-manualsignal（除去手势的所有姿态）的显示1、项

7、目特色和创新之处2、要达到的技术、经济指标及社会、经济效益3、采取的方法、技术路线以及工艺流程系统有三部分组成（如图所示）：a、汉语文本分析模块一般系统在读入一个汉语句子后,首先对句子进行分词处理。经系统分词处理后的词序列作为待翻译的基本节点而确定下来,如有切分歧义,则调用相应的消歧知识。B、转换处理这个部分是系统的核心部分。它将文本分析模块产生的输出码转换成手语词语内码生成。经切分后的汉语词语或词组作为待译的基本节点查词典后,即被送入系统的这一阶段进行分析与生成一体化的转换处理。C、合成处理与动画显示在经汉语文本分析和转换处理后的手语符号序列中,只包含两种单元

8、:手语词和手语运动参数。