手势识别论文

《手势识别论文》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、一种实时连续手势识别系统摘要：本文讨论了一种使用数据手套并具有大量词汇的实吋连续手势识别手语解释器。本文首先解决了手势输入流终点检测，它是最关键的问题，之后对手势中的4项参数进行了统计分析，它们分别是：姿势，位置，方向和动作。我们设计了一个具有250个台湾手势语的原型系统。此系统对51个基本姿势，6个方向，8个原始动作应用隐式马尔可夫模型。在签名依赖方式下，该系统能够实吋连续地识别基于这些词汇的手语句，平均识别率为80.4%o1.引言当禁止语音通话时，当书写、打字无法进行但视觉正常时，手势语将成为最常使用的沟通工具。更重要的是，

2、对于听觉受损者，手势语是最自然并具有表现力的沟通方式。手势语动作像其他口语语言一样，具有连续性和交换性，手势语识别者必须有能力连续实吋的分辨岀手语词汇。本文作者力图构建一个针对台湾手势语的连续实吋识别系统。下文首先给岀贯穿本文的两个基本定义。手势通常被认为是手和身体的移动，这种移动能将信息从一方传递到另一方。因为我们的兴趣在于手势，所以本文屮“姿势”一词常用來指代手势。姿势：姿势是某一时刻观察到的手的特定的弯曲。手势：手势是某小一时段内运动连接的姿势序列。通常一个手势包括一个或多个姿势构成的时间上的序列。本文屮为了方便描述，使用

3、“手势”，“词语”和“词汇”等词同等地表示手语屮的语义。同样，本文屮使用语句表示手势序列。2.前期工作Fels手套谈话[3]关注手势一语言接口。此外，Beale和Edward姿态识别器[1]使用多层感知器模型来将传感得到的数据分类到美国手势语屮的五种姿态。为帮助残疾人，Newby致力于基于统计相似性⑸的方法识别美国手语字母表屮的字母和数字。Watson[l]提出过一种使用样条逼近的简化方法。手势通过手和手腕运动的关键点序列（局部的极小值和极大值）來表征[6][7]O这种方法在手势匹配上具有较大的时间和控件灵活性，因此减少了对计算

4、的要求。Starner和Pentland的美国手语系统⑻［9］［10］能够识别具有40个词汇的美国手语短句，每个词汇都附属于语言的一部分，这大大地降低了计算复杂性。通过将特征向量传入隐式马尔可夫模型（HMM）可以识别手势词汇。该系统将一个计算机语言学概念有机的融合到了手势识别当屮。另外，Nam系统［11］试图识别手部运动模式。有人曾提出一种基于隐式马尔可夫模型的方法用于识别手部运动的时空模态，该方法成功地识别了10种运动原语。Liang和Ouhyoung提出了一种使用隐式马尔可夫模型的手语识别系统［12］,并将计算机语言学中的统

5、计方法融入其中。该系统试图通过识别构建的手势和上下文信息来识别岀手语中大量的词汇。本文所讨论的系统是上述系统的扩展。除了使用姿态模型外，我们还将用位置、方向、运动模型来提高系统的性能。1.台湾手势语一个台湾手语词汇可以认为是包含了一个或多个姿势的手势，它具有独立完整的语义。与Stokoe分析美国手语［13］相类似，4个基本参数是姿势，位置，方向和运动。台湾手语屮有51个基本姿势（见附图A.l）o大部分手势只包含一个姿势,比如：我，你，谁等等。当然也有包含多个姿势的手势，比如：原來，爸爸，妈妈，谢谢，再见等。台湾手语屮有22个典型

6、的位置（见附图A.2）o比如，词汇“我”的动作是做序号1的姿势（食指）朝向序号7的位置（鼻子），而“眼睛”是同样的动作只是朝向序号6的位置（眼睛）。在手语中不同方向的动作经常意味着不同的客体。比如，词汇“你们两个”和“我们两个”只是相差在手掌的方向上。台湾手语屮经常使用食指的六种不同的方向：上、下、左、右，前和后。手势运动轨迹也在分类屮起到了重要的作用。比如，词汇“一千”和“一万”的各个参数只在运动轨迹上有所不同。在台湾手语课本的前三课屮分类了8种动作（见附图A.3）o注意到要将上述4个参数融合到识别过程屮，则首先需要解决终点问

7、题。4•终点问题为了确定手势输入流中的终点，我们使用连续性检测进行分割。连续性检测是通过吋变参数(TVP)检测完成的；当手部弯曲的吋变参数值低于某一阈值吋，则认为姿态的运动是近似静止的，我们使用相应的数据帧进行识别。当然，我们使用滤波器来处理带有抖动的传感数据。手势输入流可以认为是一种反复出现的模态，它由下列状态构成：过渡过程和保持姿势(图一)。在检测保持姿势的起点时，系统会提取特征，包括位置，方向，姿势等，同时开始跟踪运动轨迹。直到下一过渡过程出现前，被跟踪的运动轨迹都将得以分析。此时，所有的四个参数都可以用来进行更高层次的手

8、势匹配，这将在第六部分屮阐述。5.识别策略考虑如图2所示的结束帧e。在姿势识别层面，可以认为每一帧中都包含了一些待识别姿势，按照台湾手语词汇，这些帧组成了一些手势。之后，使用典型的动态规划来分析图2所示的3种情况。为解决该动态规划问题，我们首先定义Solutio