基于关节点遮挡推测的多相机手姿态估计方法

《基于关节点遮挡推测的多相机手姿态估计方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第２３卷第３期载人航天Ｖｏｌ．２３Ｎｏ．３２０１７年６月ＭａｎｎｅｄＳｐａｃｅｆｌｉｇｈｔＪｕｎ．２０１７基于关节点遮挡推测的多相机手姿态估计方法１１２１１１谢清超，晁建刚，柴秀娟，林万洪，熊颖，杨进（１．中国航天员科研训练中心，北京１０００９４；２．中国科学院计算技术研究所，北京１００１９０）摘要：基于视觉的手势交互技术被应用在航天员虚拟训练系统中，其中基于视觉的手姿态估计方法是关键。由于手部关节多、自由度高，因此航天员在操作过程中易出现手势自遮挡，此时难以准确重建航天员手势操作，进而难以构建合适的虚拟训练系统。当关节点严重自遮挡时，甚

2、至出现不能被识别或姿态估计结果畸形的情况。为此提出了基于关节点遮挡预测的多相机融合手姿态估计方法，在不同视角利用单幅手部图像进行关节点遮挡预测和手姿态估计，再依据关节点遮挡预测结果，在决策端将各视角的手姿态估计结果进行融合；并采集双视角手势操作视频样例，设计融合实验进行验证。实验结果表明：通过融合可以有效解决单一视角自遮挡严重、手姿态难以估计的问题，避免了传统多相机方法的相机校准和数据特征匹配过程，在保证算法实时性的基础上提高了手姿态估计的精度。关键词：航天员训练；遮挡预测；手姿态估计；多相机中图分类号：ＴＰ３９１�４１文献标识码：Ａ文章

3、编号：１６７４⁃５８２５（２０１７）０３⁃０４０３⁃０５ＨａｎｄＰoｓｅＥｓｔｉｍａｔｉoｎＵｓｉｎｇＭｕlｔｉ⁃ｃａｍｅｒａＢａｓｅｄoｎＨａｎｄＪoｉｎｔｓＯｃｃlｕｓｉoｎＰｒｅｄｉｃｔｉoｎ１１２１ＸＩＥＱｉｎｇｃｈａｏ，ＣＨＡＯＪｉａｎｇａｎｇ，ＣＨＡＩＸｉｕｊｕａｎ，ＬＩＮＷａｎｈｏｎｇ，１１ＸＩＯＮＧＹｉｎｇ，ＹＡＮＧＪｉｎ（１．ＣｈｉｎａＡｓｔｒｏｎａｕｔＲｅｓｅａｒｃｈａｎｄＴｒａｉｎｉｎｇＣｅｎｔｅｒ，Ｂｅｉｊｉｎｇ１０００９４，Ｃｈｉｎａ；２．ＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎｅｓ

4、ｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｖｉｓｉｏｎｂａｓｅｄｇｅｓｔｕｒｅｉｎｔｅｒａｃｔｉｏｎｈａｓｂｅｅｎａｐｐｌｉｅｄｉｎｔｈｅａｓｔｒｏｎａｕｔｖｉｒｔｕａｌｔｒａｉｎｉｎｇｓｙｓｔｅｍａｎｄｔｈｅｋｅｙｉｓｔｈｅｈａｎｄｐｏｓｅｅｓｔｉｍａｔｉｏｎｍｅｔｈｏｄ．Ｄｕｅｔｏｔｈｅｍｕｌｔｉｐｌｅｊｏｉｎｔｓａｎｄｔｈｅｈｉｇｈｄｅｇｒｅｅｏｆｆｒｅｅｄｏｍｏｆｔｈｅｈａｎｄ，ｔｈｅｈａｎｄｓｅｌｆ⁃ｏｃｃｌｕｓｉｏｎｉｓｅａｓｙｔｏｈａｐｐｅｎｗｈｉｃｈｍａｋｅｓｉｔｄｉｆ

5、ｆｉｃｕｌｔｔｏａｃｃｕｒａｔｅｌｙｒｅｂｕｉｌｄｔｈｅａｓｔｒｏｎａｕｔｇｅｓｔｕｒｅｏｐｅｒａｔｉｏｎｏｒｂｕｉｌｄａｓｕｉｔａｂｌｅｖｉｒｔｕａｌｏｐｅｒａｔｉｎｇｓｙｓｔｅｍ．Ｗｈｅｎｔｈｅｊｏｉｎｔｓａｒｅｓｅｖｅｒｅｌｙｓｅｌｆ⁃ｏｃｃｌｕｄｅｄ，ｉｔｉｓｕｎａｂｌｅｔｏｂｅｉｄｅｎｔｉｆｉｅｄｏｒｄｅｆｏｒｍｅｄｅｓｔｉｍａｔｉｏｎｍａｙｏｃｃｕｒ．Ａｎｏｖｅｌｍｅｔｈｏｄｆｏｒｈａｎｄｐｏｓｅｅｓｔｉｍａｔｉｏｎｕｓｉｎｇｍｕｌｔｉ⁃ｃａｍｅｒａｗａｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒｗｈｅｒｅｈａｎｄｐｏｓｅｆｏｒｍ

6、ｄｉｆｆｅｒｅｎｔｖｉｅｗｓｗｅｒｅｆｕｓｅｄｄｉｒｅｃｔｌｙｄｅｐｅｎｄｉｎｇｏｎｔｈｅｊｏｉｎｔｓｏｃｃｌｕｓｉｏｎｅｓｔｉｍａｔｉｏｎ．Ｔｈｅｅｘｐｅｒｉ⁃ｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｉｓｍｅｔｈｏｄｃｏｕｌｄｎｏｔｏｎｌｙｅｆｆｅｃｔｉｖｅｌｙｓｏｌｖｅｔｈｅｓｅｒｉｏｕｓｇｅｓｔｕｒｅｓｅｌｆ⁃ｏｃｃｌｕ⁃ｓｉｏｎｐｒｏｂｌｅｍ，ｂｕｔａｌｓｏｃｏｕｌｄａｖｏｉｄｔｈｅｔｅｄｉｏｕｓｃａｌｉｂｒａｔｉｏｎｐｒｏｃｅｓｓｉｎｔｒａｄｉｔｉｏｎａｌｍｕｌｔｉ⁃ｃａｍｅｒａｍｅｔｈ⁃ｏｄｓ．Ｔｈｅｒｅｓｕｌｔｓｈ

7、ｏｗｅｄｔｈａｔｔｈｅａｃｃｕｒａｃｙｏｆｈａｎｄｐｏｓｅｅｓｔｉｍａｔｉｏｎｗａｓｉｍｐｒｏｖｅｄａｎｄｔｈｅｐｒｏｂｌｅｍｏｆｓｅｒｉｏｕｓｓｅｌｆ⁃ｏｃｃｌｕｓｉｏｎｗａｓｗｅｌｌｄｅａｌｔｗｉｔｈ．Ｋｅｙｗoｒｄｓ：ａｓｔｒｏｎａｕｔｔｒａｉｎｉｎｇ；ｏｃｃｌｕｓｉｏｎｐｒｅｄｉｃｔｉｏｎ；ｈａｎｄｐｏｓｅｅｓｔｉｍａｔｉｏｎ；ｍｕｌｔｉ⁃ｃａｍｅｒａ逐渐被引入到航天员在地面的日常训练中。目１引言前，航天员虚拟操作训练任务主要为维修装配训我国的空间站任务正稳步进行，为了让航天练以及熟悉太空工作生活环境，虚拟操作主要采员在地面获得更

8、高效率的训练，虚拟现实技术正［１］用基于视觉的手势交互，通过对航天员真实的收稿日期：２０１６⁃０９⁃２６；修回日期：２０１７⁃０４⁃２０基金项目：中国航天医学工程预先研究项目（２０１３ＳＹ５４