基于三维深度信息的人体动作运动轨迹识别V1.0.doc

《基于三维深度信息的人体动作运动轨迹识别V1.0.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于三维深度信息的人肢体动作运动轨迹识别1引言随着机器人技术的迅猛发展，机器人视觉跟踪技术和自然人机交互技术也开始成为了机器人技术研究领域的重要研究方向。而人的肢体动作是一种自然且直观的人际交流模式，人的肢体动作运动轨迹的识别也理所当然地成为了实现新一代自然的人机交互界面中的不可缺少的一项关键技术，特别是针对一些残障人士，只需要通过人的肢体动作就能给轮椅和残障辅助设备下达指令，更显的尤为便利。之前针对人肢体动作运动轨迹识别的人机交互研究主要侧重于人体皮肤颜色建模，连续动态动作的基于图像属性的鲁棒性特征的提取，然而由于人肢体动作本身具有的多样性、多义性、以及时间和空间上的差异

2、性等特点，因此传统的动作运动轨迹识别研究都有很大的局限性。本文就尝试将人体的三维深度信息引入到人的肢体运动轨迹的识别上面来，开创性的将传统方法拓展到三维空间，这样将减小环境光照、衣物遮挡和人体肤色与背景色的影响，使得计算机对人的肢体运动轨迹的识别更准确和更好的鲁棒性。2问题描述人的肢体运动轨迹识别问题，即是将传感器实时捕获的人的肢体真实运动轨迹与预先定义好的样本轨迹相匹配的问题。传统方法是应用隐马尔科夫模型来进行真实运动轨迹与模板运动轨迹的匹配。图1.人的肢体动作二维图像基于二维图像的隐马尔科夫模型，如图1所示，通过隐马尔科夫模型进行样本轨迹的匹配，过程如图2所示。但是基于

3、二维的识别有如下的几个难点：(1)光照：当光照发生变化时，人体的亮度信息会发生变化，传感器捕获的图像容易受到自然光和人工灯光的影响。(2)遮挡：由于在识别过程中，肢体运动轨迹可能会被静止的背景区域或者是眼镜、帽子等物体所遮挡，遮挡会产生识别信息的丢失，给识别的可靠性带来了很大的影响。(3)背景：在实际识别过程中，如果人体运动区域与背景区域的颜色、纹理或者形状相似，也会增大识别的难度。图2.基于二维图像的隐马尔科夫模型基于三维深度信息的隐马尔科夫模型，因为引入了三维深度信息，虽然可以有效地去除背景光源照度的影响，和不同目标人员肤色基准值的影响，识别过程不被光照、遮挡和背景等环

4、境因素所影响，但是计算量大，训练效率低下，容易陷入局部最优值等问题，一直制约其在实时监控领域的应用。为了解决这些问题，这里我们将动作历史图像（MHI,MotionHistoryImages）和人的肢体三维深度信息相结合，得到描述人的肢体动作的能量图像MEI，如图3所示，计算运动历史图像MHI的七个不变矩作为肢体动作特征向量，最后建立起肢体动作模板集合，也就是计算出这些肢体动作特征向量集的均值向量和协方差矩阵，识别阶段，通过Mahalanobis距离来衡量新输入的肢体动作与已知的肢体动作模板之间的相似性，只要计算出的Mahalanobis距离在规定的阈值范围之内都可以认为动作

5、识别成功。这样既排除了光照、遮挡和背景等环境因素的影响，又很大程度上提高了识别过程的实时性和准确性。图3.基于三维深度信息的运动能量图像3问题求解3.1肢体动作的三维运动历史图像表征本文应用将传统的基于二维图像的动作历史图像进行改进，使之与三维深度信息相结合，达到共同表征三维肢体动作信息的目的。运动历史图像作为时间差分法的一个分支，时间差分法是将连续的图像序列中比较两个或者三个相邻帧对应像素点发生的相对变化，得到差分图像进而阈值化来提取图像中的运动区域。本文引入三维深度信息，所以采用改进后的差分方法如下：Dx,y,z,n=Ix,y,z,n-1-2Ix,y,z,n+I(x,y

6、,z,n+1)其中：Ix,y,z,n表示第n帧图像中三维空间位置x,y,z处的像素灰度值，Dx,y,z,n是连续3帧差分后的结果，代表了人体肢体动作发生变化的区域，将Dx,y,z,n阈值化如下：Bx,y,z,n=1Dx,y,z,n>Γ0otherwise其中是选择的阈值，Γ值过低则不能有效抑制图像中的噪声，值过高则会抑制图像中有用的变化。肢体运动的三维运动历史图像MHI的产生如下：Hτx,y,z,t=τBx,y,z,t=1max⁡(0,Hτx,y,z,t-1-1)otherwise运动历史图像MHI不仅反映了肢体动作的外在形状，也反映了肢体动作发生的方向和状态，在运动历史图

7、像MHI中，每个像素的灰度值都与该位置肢体动作的持续运动时间成比例，最近发生的肢体动作姿态的灰度值最大，灰度值的变化体现了肢体动作运动发生的方向。图4.肢体运动的三维运动历史图像MHI3.2肢体动作的运动历史图像不变矩计算这种基于肢体的三维运动历史图像MHI表征方法虽然简单快捷有效，但对观察点的位置角度比较敏感，为了克服这一缺点，所以本文选取了不变矩作为肢体动作的运动历史图像的特征向量。不变矩的方法是一种比较经典的图形图像特征提取方法，它的平移不变性、伸缩不变性和旋转不变性能很好地排除观察点的位置和角度的影响。我们