基于kinect的装备体感维修教学系统研究

《基于kinect的装备体感维修教学系统研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Kinect的装备体感维修教学系统研究　　摘要：结合虚拟维修教学和体感技术，研究了Unity3D开发环境下体感设备Kinect的引入、操作替身设计、维修姿态表态等问题。实际应用证明体感式维修教学系统是一种比传统键盘鼠标操作更加优越的训练方式。　　关键词：体感Kinect虚拟维修　　由于现代军事装备结构复杂、价格高，教学装备数量少，而且使用真实装备教学易出安全事故，所以虚拟维修教学系统成为装备维修训练的重要补充手段。但由于目前人机交互手术手段的限制，大量的虚拟维修教学系统还是采用传统键盘鼠标作为交互设备。在虚拟维修训练中，一般只能通过鼠标点击工具图标来代表拿起工具，再用鼠标点击操作

2、对象来播放分解结合动画，实际上达到的训练效果是熟悉分解结合过程和工具的名称，而具体工具的使用方式很难体现出来，或者说“动手”的能力很难培养出来。而往往学员所欠缺的就是动手能力，一到实际维修教室，还是很容易出问题。而Kinect体感设备的出现，给虚拟维修教学系统开拓了一条新的路径。　　Kinect体感设备是微软为游戏机XBOX360研发的一款体感操作设备，相对以往动辄百十万元的光学动作捕捉系统而言，成本极期低廉，当然识别精度也相应较低，但是它已经能够胜任游戏、界面操作等基本要求。同时除了即时动态捕捉能力之外，它还具有图像识别、语音辨识等多种实用功能，是非常有前景的体感设备。目前以Kin

3、ect为外部设备的体感游戏、应用已达数百款，应用包括机器人视觉识别、商业售卖机器、三维扫描建模等范围。在教育领域，也研究了Kinect在交互式电子白板等方面的应用[1]。　　1Kinec及其开发　　Kinect外形如图1所示，主要由CMOS红外发射及传感器、RGB摄像头及麦克风组成。它的核心技术来自于以色列PrimeSense公司的低成本三维空间探测芯片及微软研究院的人体动作识别系统。PrimeSense公司曾经为以色列军方服务，他们开发的芯片和配套软件可以很好地处理三维空间中物体的坐标信息。　　CMOS红外传感器通过发射编码光产生深度图像，既以纯黑代表无穷远，以纯白代表零距离，以灰

4、色的浓度代表距离的远近。传感器以每秒30帧的速度生成景深图像流。芯片将人体图像从景深图像中抠出并传入Exemplar人工智能处理系统中，该系统通过积累的大量经验进行图像匹配，生成一个有20个关节的骨架系统（如图2所示）。Kinect中间的RGB摄像头用于捕捉人体形象图谱，除了帮助设备探测到使用者的位置，它还可以用于拍照，在设备的基座内有驱动塑料齿轮的马达，用于自动校正摄像头以及空间感知器，让Kinect获得最佳的位置来观测使用者。　　Kinect的二次开发包目前有微软的KinectforWindowsSDK[2]和PrimeSense的OpenNI[3]。两者各有所长，开发者可按需求

5、选择。OpenNI直接提供了Unity3D的插件包，所以我们选择了OpenNI为开发工具。　　2装备体感维修教学系统　　2.1软硬件简介　　在OpenNI架构下要让维修训练系统能够使用Kinect，首先需要安装OpenNI（版本为1.5.2.23），负责分析影像数据的NITE中间件（版本为1.5.2.21）和驱动程序模块SensorKinect（本文版本为5.1.0.25）。虚拟交互软件采用Unity3D4.0，为直接使用Kinect数据，引入了OpenNI_Unity_Toolkit-0.9.7.4插件包。该包提供给Unity直接访问OpenNI兼容传感器的能力。硬件采用了一台Ki

6、nectforXBOX360外接电源适配器及遥控操纵杆。　　引入插件包后，Unity3D中就会形成OpenNI的预制件和脚本（如图3所示）。用户可以直接将这些预制件和脚本拖到场景中使用，可以无须关心底层API而直接使用“拖-放”的方式来使用数据。　　2.2体感操作引入　　Kinect的精度有限，所以在虚拟维修中使用体感操作，比较合适的方式是在虚拟场景中引入一个虚拟人，然后将Kinect捕捉到的操作者人体数据传递到虚拟人身上，使虚拟人和操作者同步运动，通过判断虚拟人与场景中物体的碰撞情况来决定交互的产生时机。如果直接通过Kinect来操作界面元素，可能会存在跳动等现象，导致交互感觉不良

7、。　　虚拟人的制作可由3DMAX等软件制作骨骼蒙皮人体模型再导入Unity之中，然后在Unity中将虚拟人的骨骼与OpenNI提供的Kinect的关节数据匹配起来，其具体做法是设置NISkeletonController脚本中的Jointstocontrol数组（如图4所示）。建立骨骼匹配关系之后，在虚拟人手上设置碰撞包围盒，使包围盒包含整个手部。这样在程序中就可以通过碰撞事件的捕获，使操作者通过虚拟人取放工具、操作零部件，实现分解结合虚拟维修了。　　2.