基于kinect的机械臂增强现实示教研究

《基于kinect的机械臂增强现实示教研究》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、基于Kinect的机械臂增强现实示教研究机械臂广泛地应用在工业自动化生产以及人们日常生活中，机械臂而示教学习作为一种秉要的运动规划方式，是机械臂研究领域的一项重要研究内容。鉴于此，设计了一种基于Kinect的虚拟机械臂增强现实示教系统，通过Kinect传感器采集人手位置数据，利用机械臂逆运动学模型驱动虚拟机械臂跟踪人手运动，实现对机械臂的虚拟示教；利用增强现实技术，将虚拟机械臂叠加到真实环境中，实现对机械臂的增强现实示教。实验结果表明该系统能够将虚拟机械臂准确地叠加到真实环境中，并实时跟踪人手运动，系统具有良好的交互性。，供学习和研宄使用，己如果需耍分享，请保留本段说

2、明。关键词：机械臂示教；Kinect传感器；骨骼跟踪；逆运动学；增强现实TP391AAbstract:Manipulatorsarewidelyusedinindustrialproductionandpeople’sdailylife，while，manipulatorteaching，asanimportantmethodformanipulatormotionplanning,isoneofthekeyissuesfortheresearchareaofManipulators.Thispaperpresentsavirtualmanipulatorteachi

3、ngsystemusingaugmentedrealitybasedonaKincctsensor,where,theend-effectorofthevirtualmanipulatorfollowsthemovementofthehumanhandbasedonaKinectsensorthroughaninversekinematicsmodel,andthentheresultingvirtualmanipulatorisaddedintotherealworkingenvironmentbyusingaugmentedreality.Theexperimen

4、talresultsshowthat,inoursystem,thevirtualmanipulatorcanbeaccuratelyregisteredintotherealworkingenvironmentandfollowthemovementofthehumanhandinreal-time.Keywords：manipulatorteaching；Kinectsensor；skeletontracking；inversekinematics；augmentedreality1引言?c械臂在工业制造、军事、娱乐、医疗等领域都具有广泛的应用。早期的机械臂只从事

5、一些简单的自动化生产任务，在线示教编程就可以满足生产需要。随着社会发展，机械臂的工作任务日趋复杂，而且在线示教编程过程必须依赖实体机械臂，示教过程变得烦琐。随着计算机仿真技术的出现，机械臂虚拟示教方式也得到了发展。机械臂虚拟示教是利用计算机仿真技术进行机械臂模型以及工作环境的模拟，基于机器人运动学算法，对机械臂模型进行相应的控制和操作，完成机械臂模型示教的过程［1］。机械臂虚拟示教过程不需要机械臂实体，从而把机械臂从在线编程中解放出来，提高了机械臂示教过程的直观性和安全性［2］。机械臂虚拟示教方式，虽然具有很多优势，但是与实际工作场景脱离，缺乏真实性。一些研究者将增强

6、现实技术引入机械臂示教学＞J过程，将虚拟机械臂与真实场景融合。Fang等［3.4］采用增强现实技术对机械臂进行运动路径规划及末端执行器方向规划。Chong等［5］基于增强现实技术为机械臂规划与物理实体无碰撞的运动路径。而Kincct传感器的出现为机械臂示教学习和增强现实应用提供了新的交互方式。林海波等［6］设计了基于Kinect的无标定人机交互控制系统，该系统利用Kinect获取的人手骨骼数据控制机械臂运动。王?t等［7］利用Kinect深度图像，基于增强现实技术，进行了虚拟物体与真实场景的碰撞交互实验。鉴于此，提出了一种应用Kincct进行虚拟机械臂增强现实示教的方

7、法。系统通过Kinect实时地获取人手的运动轨迹，将运动轨迹传递给计算机中的机械臂模型，基于机械臂逆运动学算法，实现机械臂末端执行器对人手运动的实时跟踪，同时采用增强现实技术，实现机械臂模型在真实环境的示教运动。该系统不仅具有虚拟示教的优势，又能实现虚拟机械臂与真实场景的融合，使示教过程显得更自然、更真实。2系统框架构建的虚拟机械臂增强现实示教系统可分为三个部分：人手部位置数据提取、机械臂逆运动学求解、增强现实注册。系统整体框架如图1所示。系统硬件部分主要由Kinect传感器和计算机组成。Kinect传感器能提供深度数据流、彩色视频流、骨骼数据流等数