基于单目视频序列的真实人体姿态三维重建

《基于单目视频序列的真实人体姿态三维重建》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于单目视频序列的真实人体姿态三维重建本文提出了一种基于视频的三维人体姿态重建技术，制定了基于视频的关键帧的重建框架。本文还利用牛顿物理学，关节点的生物运动约束等同时对人体姿态进行三维重建。并验证了该算法的可行性和精度。　　关键词视频序列；交互式姿态跟踪；计算机视觉　　TP39A1674-6708（2011）54-0197-01　　0引言　　本文提出了基于单目非标定视频的人体动作捕捉及三维重建方法，同时利用计算机视觉和基于真实物理运动学原理。本文基于图像的关键帧技术对视频进行处理：首先对关键帧进行交互式三维重建，然后进行基于图像的姿态插值，同时利用

2、牛顿力学原理和生物约束集对重建结果进行修改和优化。　　1算法概述　　首先基于用户交互式方法估计三维特征点集合和人体骨骼大小，同时用牛顿力学原理和生物约束集对重建的姿态进行评估和优化。　　1.1基于关键帧的交互式三维建模　　此环节利用一种高效的算法来估计关键帧中的三维姿态，同时估计相机参数和人体骨架大小。　　1.2基于图像的三维关键帧插值　　本文提出一种高效的算法自动跟踪二维图像中的特征点集，并利用图像测量技术对关键帧进行插值操作，同时可以修改并优化重建后的模型。　　2基于关键帧的交互式三维建模　　本文将人体分为17个刚体部分，主要包括头、颈、躯干、

3、左右锁骨、肱骨、桡骨、胯骨、股骨、胫骨和跖骨。用关节坐标集q描述人体全部姿态，q∈R37。向量l表示17段刚体部分的长度集合，l=[l1,...,l17]T，lb,b=1,...,17表示第b段关节的长度。　　利用以上参数可以估计k幅关键帧的三维姿态(q1,...,qK)以及人体骨架大小（l）。　　2.1摄像头参数估计　　对于移动摄像头拍摄的视频利用MatchMover[2008]估计摄像头的内参数和外参数=（tx,ty,tz,θx,θy,θz,f），（tx,ty,tz）,（θx,θy,θz）和f分别表示相机坐标、方向和相机焦距。对于固定摄像头拍摄

4、的视频用3.2中提出的算法自动估计以上参数值。　　2.2交互式三维关键帧建模　　本文定义了能量方程和成本方程来估计和消除二义性问题。具体来说，通过计算以下能量方程的最小值来估计人体骨架大小l和三维姿态q1,...,qk　　（1）　　Ep代表骨骼投影约束，Es表示对称约束，保证重建后的三维骨架的对称部分是等长的。Er为对称约束，Ec则保证在某些视频中保证部分特征点的相对坐标保持不变，Ed可消除重建过程中出现的二义性。　　本文用表示每段关节的内关节点和外关节点的深度信息，同时对方程式（1）进行初始化和优化操作。对于前者采用解析式的雅可比公式，对于后者则

5、用Levmarlibrary[Lourakis2009]中的Levenberg-Marquardt算法进行优化。　　3基于图像的三维关键帧插值技术　　3.1基于多关节的二维关键帧插值　　下肢(包括股骨、胫骨和跖骨)的姿态可用表示，表示在2维图像中对应的关节点坐标，待估参数为，。　　第t帧某区域内特征向量（2）　　h（et）和hm（et）分别表示在特征空间内的当前目标模型和第个密度空间。　　假设任意中间帧的模板模型可参数化：　　Hm（βt）=βthm（e1）（1-βt）hm（eT）,m=1,...,M（3）　　将Hm(βt)和h（et）进行匹配估计骨

6、骼姿态参数值，用巴特查利亚距离度量匹配距离：　　用洛仑兹函数作为衡量的成本方程,通过计算以下目标函数的最小值来获得最优解：　　（4）　　3.2三维姿态插值　　分别表示关节点姿态、关节点运动速度和其加速度。分别为关节点的惯性矩阵、离心力、中立。向量u,fc分别为关节点力矩和触点压力。雅可比公式在触点处将关节速度转化为世界坐标内的速度。规定摩擦极限约束函数fg为fg（），为环境摩擦极限函数，则通过求解以下目标函数可得出关节姿态向量q，关节力矩u，以及触点压力fg(entARefinementB　　高低杠150pan-tilt-zoom101007　　体

7、操585static91020　　举重310pan-tilt-zoom131134　　　　从以上表格中我们可以看出，本系统可以用最少的用户交互来获得最佳的人体姿态三维重建结果。　　5结论　　本文对通过论证对人体姿态的三维重建技术，提出了一种新的方法，该方法利用单目摄像头拍摄的视频序列，避免了双目视觉视场小、立体匹配困难、空间、光照等局限性，在计算机视觉领域有着重要的实际应用价值。