基于kinect体感交互技术的虚拟装配实验系统开发_廖宏建

《基于kinect体感交互技术的虚拟装配实验系统开发_廖宏建》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、ＩＳＳＮ１００２－４９５６实验技术与管理第３０卷第７期２０１３年７月ＣＮ１１－２０３４／ＴＥｘｐｅｒｉｍｅｎｔａｌＴｅｃｈｎｏｌｏｇｙａｎｄＭａｎａｇｅｍｅｎｔＶｏｌ．３０Ｎｏ．７Ｊｕｌ．２０１３基于Ｋｉｎｅｃｔ体感交互技术的虚拟装配实验系统开发廖宏建１，曲哲２（１．广州大学实验中心，广东广州５１０００６；２．广州大学图书馆，广东广州５１０００６）摘要：在分析体感交互虚拟装配系统架构的基础上，讨论了基于Ｋｉｎｅｃｔ体感交互技术的虚拟装配模型数据建立、手势识别及交互语义扩展、场景视角的真实体感控制３个关键问题的实现方法，并使用这些方法开发了“减速器”虚拟装配实验系统。实际应用表明，体感交互技术

2、能提高与三维对象的交互效率、增强学习沉浸感。关键词：体感交互；Ｋｉｎｅｃｔ；虚拟装配实验；手势识别；用户体验中图分类号：Ｇ４３４；ＴＰ３９文献标志码：Ａ文章编号：１００２－４９５６（２０１３）０７－００９８－０５ＤｅｖｅｌｏｐｍｅｎｔｏｆｖｉｒｔｕａｌａｓｓｅｍｂｌｙｅｘｐｅｒｉｍｅｎｔｓｙｓｔｅｍｂａｓｅｄｏｎｓｏｍａｔｏｓｅｎｓｏｒｙｉｎｔｅｒａｃｔｉｏｎｔｅｃｈｎｏｌｏｇｙｏｆＫｉｎｅｃｔ１，ＱｕＺｈｅ２ＬｉａｏＨｏｎｇｊｉａｎ（１．ＬａｂｏｒａｔｏｒｙＣｅｎｔｅｒ，ＧｕａｎｇｚｈｏｕＵｎｉｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｕ５１０００６，Ｃｈｉｎａ；２．Ｌｉｂｒａｒｙ，Ｇｕａｎｇｚｈｏ

3、ｕＵｎｉｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｕ５１０００６，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｏｎｔｈｅｂａｓｉｓｏｆａｎａｌｙｓｉｓｏｆａｓｓｅｍｂｌｙｓｙｓｔｅｍａｒｃｈｉｔｅｃｔｕｒｅｕｓｉｎｇｓｏｍａｔｏｓｅｎｓｏｒｙｉｎｔｅｒａｃｔｉｏｎ，ｔｈｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｋｅｙｉｓｓｕｅｓｉｎａｓｓｅｍｂｌｙｍｏｄｅｌｂｕｉｌｄｉｎｇ，ｈａｎｄｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎａｎｄｉｎｔｅｒａｃｔｉｖｅｓｅｍａｎｔｉｃｅｘｔｅｎｓｉｏｎ，ｓｃｅｎｅｓｐｅｒｓｐｅｃｔｉｖｅｃｈａｎｇｉｎｇｂｙｓｏｍａｔｏｓｅｎｓｏｒｙｉｓｄｉｓｃｕｓｓｅｄ．Ａｎｄａｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａ

4、ｌｖｉｒｔｕａｌｅｘｐｅｒｉｍｅｎｔｎａｍｅｄ“ｔｈｅｒｅｄｕｃｅｒｖｉｒｔｕａｌａｓｓｅｍｂｌｙ”ｂｙｔｈｅｍｅｔｈｏｄｓｈｏｗｓｔｈａｔｔｈｅＮＳＩｃａｎｉｍｐｒｏｖｅｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｉｎｔｅｒａｃｔｉｏｎｗｉｔｈｔｈｅｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌｏｂｊｅｃｔ，ａｎｄｅｎｈａｎｃｅｔｈｅｉｍｍｅｒｓｉｏｎｉｎｌｅａｒｎｉｎｇ．Ｋｅｙｗｏｒｄｓ：ｓｏｍａｔｏｓｅｎｓｏｒｙｉｎｔｅｒａｃｔｉｏｎ；ｖｉｒｔｕａｌａｓｓｅｍｂｌｙｅｘｐｅｒｉｍｅｎｔ；ｈａｎｄｇｅｓｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎ；ｕｓｅｒ－ｅｘｐｅｒｉｅｎｃｅ虚拟装配技术为解决产品设计、装配训练等问题成本较低

5、，采用ＷＩＭＰ（Ｗｉｎｄｏｗｓ、Ｉｃｏｎ、Ｍｅｎｕ、Ｐｏｉｎｔ－［４］提供了一个新的、低成本的快捷手段。有代表性的虚Ｃｌｉｃｋ）交互范式，通过鼠标和键盘提供精确的指点［１］拟装配系统有华盛顿州立大学的ＶＡＤＥ系统、清华式输入，快捷操作二维对象，但与三维对象交互时操作［２］大学的ＶＡＳＳ虚拟装配训练系统、浙江大学的ＶＤ－复杂，用户体验不佳，不能充分发挥虚拟现实系统的构［３］ＶＡＳ系统等。这些系统主要使用了虚拟现实、增强想性、沉浸性和交互性。本文研究使用微软的Ｋｉｎｅｃｔ现实、虚实融合等技术，在人机交互方面效率高、沉浸体感器，结合虚拟现实引擎Ｕｎｉｔｙ３Ｄ，实现在桌面系统感强，但需要昂贵的硬件支

6、持，如数据手套、位置跟踪上架构成本低廉但沉浸感增强的虚拟装配实验系统。器、同步器、３Ｄ头盔显示器等。由于硬件价格昂贵，且它通过采集用户运动空间信息，包括肢体动作、手势、多数是为特殊应用定制，软件平台不通用，导致该类虚语音、表情等信息作为虚拟装配系统的信息输入，从而拟装配及训练系统难以在高校实验教学和实训教学中使用自然习惯动作完成虚拟装配过程。普及和推广。基于普通ＰＣ开发的桌面三维虚拟装配实验系统１自然体感人机交互技术及Ｋｉｎｅｃｔ原理１．１自然体感人机交互简介收稿日期：２０１２－１２－１４基金项目：广州市属高校科研计划青年项目“基于ｋｉｎｅｃｔ自然交互的三体感交互起源于游戏行业，指用户通过身

7、体运动［５］维虚拟实验系统研究与应用”（２０１２Ａ０９５）；广州市教育科学和身体感受等方式完成人机交互。体感交互一般需十二五规划２０１２年度项目“基于自然人机交互的三维虚拟要借助数据手套、３Ｄ头盔等硬件实现。但随着计算机实验平台设计与应用”（１２Ａ０３１）图像识别、机器视觉等技术的发展，出现了直接利用机作者简介：廖宏建（１９８０—），男，湖南衡阳，硕士，实验师，主要研究方向器捕获的身体运动数据来实现人机交互的