基于嵌入式智能手语翻译手套设计

《基于嵌入式智能手语翻译手套设计》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于嵌入式智能手语翻译手套设计张文李松林徐大杰成都理工大学信息科学与技术学院摘要：木系统设计一款能翻译手语的便携低功耗数据手套，旨在解决正常人与聋哑人的沟通障碍问题。数据手套能输岀用户手势的姿态角、手指弯曲度、以及手部的加速度等。本系统使用模板匹配的方式，比较用户输入手势数据与模板库中手势的相似度，找出手势库中与输入手势差异最小的手势。根据需要改进了加权的动态时间规划算法，把手势的加速度、姿态角度作为权值，与弯曲度数据有效融合,最终正确的识别出用户的手势。关键词：数据于套;于势翻译;模板匹配;动态时间规划;0引言第六次全国人口普查公布的数据显示，全国各类残疾人总数为8502万人，其中听

2、力残疾2054万人，言语残疾130万人，分别在残疾人总数的24.16%和1.53%。聋哑人只能通过手语进行相互交流，他们与正常人的交流存在极大的障碍。本系统设计了一款低功耗便携式的智能手语翻译手套，相比于上述的手势捕获技术,具有众多优势。该手套能精确的记录手势的空间数据，不存在手势死区，并且智能手套处理的数据量小，算法相对简单，识别速度快。1系统构架本系统手势识别分为3个部分，数据采集及预处理、数据段捕获和识别手势。数据采集通过弯曲度传感器、MPU9250获得;但由于外界环境等因素，数据会受到干扰，系统使用滤波达到较好效果。数据段捕获主要是寻找手势的起点和终点，其采用门限判定法来分割手

3、势。用户做手势时，手部的姿态、加速度、手指弯曲度有显著变化，通过设定门限值，确定有效数据段。识别手势主要采用加权动态时间规划，计算与模板库手势欧式距离，当两者总距离值最小，且小于设定的阈值时，则判定为同一手势。2识别算法设计2.1数据采集和预处理弯曲度传感器采用模数转换得到手指的弯曲度。转换时，易受到电源波动和环境等影响，故在每次釆集时，进行模数转换5次，釆用冒泡排序，舍弃最大和最小值，求平均，最后送滑动窗口滤波oMPU9250集成加速度计、地磁计和陀螺仪,通过特定的算法解算出加速度和欧拉角。对其进行数据归一化到[0,1],即：X—minmax—min(1)*其中A为归一化值，min为

4、样本最小值，max为样本最大值。分别对弯曲度、加速度和姿态角进行数据归一化。2.2数据段捕获人在做岀手势时，手指弯曲度、加速度、角度均有明显的差异。通过差分法可对手势的起止和终止做出判断，从而捕获到有效的手势信息。即：_0T

5、+faccilIacct—=lx爲—+1児叱-児爲

6、+

7、况凹-况乙

8、廿lU_，•士込•人工44<•2亠卄占人工并4五Va其中表示第i个手指j时刻的手指弯曲度采样值,示j时刻，三维加速度值，2E表示j吋刻的三维角度值。设定临界阈值组合，得到手势起始终止条件。起始条件:iVX终止条件：为排除系统偶然性，以连续多次采样数据作为判决数据。当几次数据均满足起始条件，判断手势

9、开始；同时满足三个终止条件，判断手势结束;其他情况下，判断为有效数据段。2.3识别核心算法本部分使用动态时间规划算法，寻找输入与模板序列Z间的最佳时间规正函数，使输入与模板的距离最短。设模板手势时间序列和输入手势时间序列。定义规整序列,规整点组。输入手势与模板手势的相似度用欧式距离来评价，即：D（QC）=niinS^=1坯人（兀）此（久））⑶构建一个的矩阵网格，每一个网格代表输入与模板序列的欧拉距离值，用表示。且有：d(Yq(x)m=(01-q)2D(°jJ=min{D(^)+d(泌)}(tJ)⑷为输入与模板手势的总欧拉距离值。越小，两者越相似，反之，越不相似。以上为传统的动态吋间规划

10、，匹配过程中，把每个路径点同等看待。但实际过程屮，每个采样点重要性不同，且弯曲度、角度、加速度数据在识别的贡献也不同。以弯曲度为主识别数据，角度、加速度为辅数据，以加权的方式突出不同采样点在兀配中的影响大小，得欧式距离递推式。D(vQ=pW«d(i』)Iminp'tuII2凡I品I1)}(5)其中为权重函数，由加速度、角度的混合式组成。(6)式中、为分别为加速度、角度在加权中的贡献比重。广I计算出输入与模板手势间的欧式总距离'D(眈jh).与设定的阈值比较,当加权和小于阈值，则判定为匹配成功，反之，与模板集下一个手势匹配，算法流程如图1。阈值与误识率FAR和误拒率FRR密切相关。阈值选

11、取越大，FAR越大;阈值越小，FRR越大。通过大量试验得出合适的阈值c和(】、B参数，使得手势匹配的等错误率EER(FAR=FRR)最小。图1加权DTW算法流程3调试结果在文献［4］中选出198个常用孤立手语词手势，选择3名健康的受试者，对所有选取手势采集5遍，得到15个样本集，从中选取1组作为标准模板手势集，另外均乍为测试手势样木集。分别使用加权DTW和传统DTW做兀配，结果如图2、3所示。01CCCacti40技X352D15反芒Krt-於