基于kinect的若干典型动作识别的研究

《基于kinect的若干典型动作识别的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

基于Kinect的若干典型动作识别的研究摘要：为了能够在智能化识别动作的过程中提高识别的效率和准确率，避免在以整体特征为基础研究受到衣着等因素的影响，本文根据Kinect的骨骼跟踪功能，建立人体关节点融合的简化骨架模型。提出关于角度和重心的判别模型，借助matlab达到自动识别功能。关键词：自动识别，层次分析法，Kinect,角度，骨架模型1引言人体行为动作及姿态的识别目前仍处于初级阶段。人体结构的复杂性以及运动的复杂性，加之客观环境的多样性，使得人们对于动作特征、肢体关键信息的提取变得愈加困难。目前人体动作识别的方法大都集中在动作特征的提取与识别上，这类方法大都通过建立人体姿态的轮廓特征图像、从而对特征图像进行分析与识别，常用的有静态轮廓图像、步态能量图像（GEI）、主动能量图（AEI）、帧差能量图（FDEI）。 这些特征图像可以很好的表达人体动作姿态的整体特征，但往往计算量较大，效率不高。在获得轮廓图或能量图时易受衣着、背包等的影响，识别的准确率会降低。本文提出建立基于人体关键关节点的棒状模型，利用人体的肢体角度和重心因素，建立判别函数，通过判别值的匹配达到识别的目的。其优势在于不受人体总体特征的限制，直接研究与人体运动有关的胺体幅度的变化，不需要复杂的运算，识别率较高。2基于Kinect的人体简化模型的建立是一款3D体感摄影机，同时导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识等功能。它拥有3个摄像头，分别是红外线发射器、RGB摄像头、红外线接收器。可以接收彩色图像数据流、深度图像数据流和音频数据流三种数据流［1］。Kinect能够在深度图像的基础上实现人体骨骼的追踪。在Kinect的骨骼追踪中，通过实时捕捉一共可以准确获得20个人体骨骼关节点的三维坐标信息。连接关节点，可以形成“火柴人”。本文建立人体模型时正是在Kinect的骨骼图像基础上，将20个关节点进行融合、相连，形成简化的人体棒状模型。2.1简化的棒状人体模型建立 由文献［2］可知，20个关节点可以按对动作影响程度不同分为3个层次，分别为身体躯干关节点、四肢关节点、以及手与脚。针对研究的行走、奔跑、蹲下起立、跳跃四个典型动作，我们各做了96组实验，第一层关节点中，有96%组实验证明左肩、右肩、左臀、右臀、脊柱相对于人体躯干的位置固定不变，对角度的形成没影响；第二层关节点中，有94%组实验证明左腕、右腕虽然对角度的形成有较大的影响，但对动作分类无影响；第三层关节点中，左手、右手、左脚、右脚对我们研宄的动作提供的信息太少，只能在手势识别中进行详细研究。基于上述原因，我们将左、右手和腕融合为一点；左、右肩和肩膀中央融合为一点；左、右臀和臀部中央融合为一点；左、右脚和踝关节融合为一点。将20个骨骼关节点精简为11个关键的骨骼关节点，分别为头、肩膀中央、左肘、右肘、左腕、右腕、臀部中央、左膝、右膝、左踝、右踝，形成了人体的头、躯干、上臂、前臂、大腿和小腿的部分，如图1所示：在该模型中，我们定义臀部中心为空间坐标的原点中心，原点到头部的方向为Y轴的方向，Kinect 的红外摄像头与臀部中心连线并指向臀部中心的方向为Z轴的正向，垂直于YOZ平面的方向为X轴的方向。2.2肢体角度参数的建立实验过程中，人的运动方向是Kinect的红外摄像方向始终呈90度，在定义角度之前，我们做出如下说明：1）以人运动的方向为正方向，肢体的摆动方向与正方向一致，定义为前，摆向与正方向相反，定义为后;2）实验时四种动作的姿势如上图2所示。我们定义了7个角度参数，前臂与身体躯干的角度，后臂与躯干的角度，前后腿之间的角度，前臂肘关节处角度，后臂肘关节处角度，前腿膝关节处角度，后腿的膝关节处角度。2.3重心参数的建立与传统的基于图像像素的质心求法不同的是，本文利用臀部中心的离地高度与头部离地的高度的数值比作为重心的参数。在识别过程中，人与Kinect之间的距离会发生，若以臀部中心作为人体重心，则该重心的高度（y坐标值）会随之变化。而以比值作为重心参数，则因各点高度同比例变化，重心参数不随与 Kinect距离变化。因此该比值可以很好的代替重心，如图3所示。2.4参数在Kinect中的获取2.4.1定义关节点和骨骼向量在Kinect中，通过定义骨骼向量来计算肢体的空 间角度。如图所示：对人体简化模型的骨骼定义向量，第一层关节点(bl,b2,b3)组成的骨骼定义为向量｛a1，a2｝,第二层关节点(b4，b5,b6，b7)组成的骨骼定义为向量｛a3，a4，a5，a6｝，第三层关节点(b8,b9,1?10，1?11)组成的骨骼定义为向量｛€17，€18，€19，a10}o2.4.2余弦函数计算角度因素和计算重心参数1)计算角度以小1为例简述角度的算法。巾1角是由向量a2和a3组成的向量/N包含关节点b2,b3,b4，假设各关节点坐标为b2:(x2,y2,z2,),b3：(x3，y3，z3,)b4:(x4，y4，z4,)则向量a2=(x3-x2,y3-y2,z3-z2)，向量ct3=(x4-x2,y4-y2,z4-z2,)，由反余弦函数可计算4)1的值：(2)其中，并且；同理，我们依次求出我们所需的7个角度。2)计算重心假设各点坐标如下：，则重心参数：(3)；3动作判别框架 人体模型和判别函数的建立对整个识别过程至关重要。下图给出了整个研究过程中每一个关键的步骤，研宄的三条主线（如虚线框所示）也十分的清晰：①建立人体棒状模型，并建立判别函数②实验采集数据并建立判别规则；③利用Kinect的骨骼图像，获取角度和重心参数，利用Matlab软件实现动作的自动识别。4层次分析法在建立判别函数中的应用层次分析法是一种定性与定量分析相结合的多目标决策分析方法。它能够将实测的数据、专家评分以及分析者的客观判断有机的结合起来达到综合评价或判别。本文采用方根法计算判断矩阵的最大的特征值和对应的特征向量。步骤如下：1）矩阵A按行求连乘的积并开m次方，得向量，其中（4）;2）对做归一化处理，得到权重向量，其中（5）;3）对A中的每列元素求和，得到向量，其中（6）;4）计算（7）。5）—致性检验是为了验证结果是否合理。检验公 式为（8）;其中Rc表示一致性比例，（9）表示一致性指标，IR表示平均随机一致性指标，可查表获得[5]o当Rc