基于kinect体感交互系统在多媒体教学中应用探究

《基于kinect体感交互系统在多媒体教学中应用探究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于kinect体感交互系统在多媒体教学中应用探究摘要：随着多媒体技术的飞速发展，多媒体计算机辅助教学被广泛应用于教学实践中。几乎所有的高校甚至中小学都采用这种教学模式来完成教学的最重要环节。本文将体感交互系统巧妙地应用于多媒体教学，利用kinect强大的骨骼跟踪功能，实现通过肢体动作对幻灯片的播放控制，给教学方式带来莫大的方便，同时使课堂气氛活泼，趣味生动。关键词：体感交互；多媒体教学；kinect；骨骼跟踪中图分类号：TG95；TP391.9自20世纪90年代以来，多媒体技术迅速兴起，蓬勃发展，带来了教育技术的革新与进步，多媒体计算机辅助教学,简称

2、CAI被广泛应用于教学实践中。几乎所有的高校甚至中小学都采用这种教学模式来完成教学的最重要环节。一般而言，教师是通过鼠标或者激光笔来完成对PPT的播放实施控制，就拿普遍应用的鼠标来说，要求教师只是局限于讲台这个固定的空间，不能够灵活的在教室里给学生更加生动的展示所要表达的意图，只能通过点击操作。再者，对于激光笔,虽然在鼠标的基础上增加了不少灵活性，但是受操作功能单一、易出故障等因素的影响也不能最大化的满足实际教学的需求。但是随着增强现实技术（AugmentedRealitytechnology,简称AR技术）的问世，我们可以设想如果把此高新技术应用于多

3、媒体教学，一定会给教学带来巨大便利。并且极大增强课堂的趣味性。手势中含有大量的交互信息而且符合人的认知习惯，使人们生活中一种自然而直观的人际交流方式，随着人机交互逐渐向以人为重心转移，对手势识别的研究成为人们研究的热点。利用手势识别实现人机交互，可以帮助教师更好的实现教学过程，实现人的认知空间和计算机计算空间之间的平滑过渡，改善人机交互的方式。近几年kinect在AR（增强现实）技术发展中起到了首屈一指的作用。1AR技术应用于教学的应用价值有1.1形式新颖，能够吸引学生的注意力。增强现实本身就是一项新的技术，它通过计算机呈现多样性的内容，不但带给学生极

4、大乐趣，而且通过AR技术中虚实结合的交互，可以进一步激发学习者的学习动机。1.2有利于培养学习者的空间智能，增强学习者认识环境的能力和方向感。通过AR进行的学习过程在完全的三维环境下完成，能提升学生的空间理解能力，并且实现了部分教学内容中抽象概念的完整表示（如立体几何，磁感线，分子运动，力的表示等）。1.3学习过程中的交互性强。有助于提高学生动手实践能力。AR本身对交互性的强调，决定了基于AR技术辅助的学习具有更多的交互性，并且这种交互方式更加简单直接，接近于自然地交互。基于以上的应用价值和实际教学环境，我们有以下的设计：控制ppt翻页的手势可以定义为

5、右手向右挥动，PPT播放下一页；左手向左挥动，PPT播放上一页；右手高举过头顶，PPT自动开始播放；左手高举过头顶，PPT退出播放状态。2系统设计方案2.1在VisualStudio2010中新建一个WPF工程并命名,添加Kinect程序集引用。2.2添加Window_Loaded()和Window_Closed()函数。在Window_Loaded()中声明kinectSensor对象并对其进行初始化设置，在Window_Closed函数中关闭Kinect设备。本实例用到了视频数据和骨骼追踪数据，其中骨骼追踪数据用来对演讲者进行姿态捕捉，而视频数据只

6、是用来辅助测试姿势识别的结果。2.3界面准备。在MainWindows.xaml文件的设计器中添加一个Image控件来显示视频信息，再添加3个Ellipse控件来显示头部、左手和右手3个点的位置。2.4添加kinectSensor_ColorFrameReady()事件处理函数，用以显示Kinect捕捉的视频数据。2.5添加kinectSensor_SkeletonFrameReady()事件处理函数，正确连接kinect之后，当用户站在kinect前并且kinect能够正确识别人体并且捕捉到有效的骨骼数据后,将触发该事件处理函数，调用ProcessG

7、esture()函数进行手势的识别和判定。2.6ProcessGesture()函数负责识别演讲者右手高举过头顶、右手向右挥动、左手向左挥动和左手高举过头顶的手势，并触发幻灯片的播放、翻页、退出播放等操作。识别这些手势用到了3个骨骼点，分别是头部节点、左手节点和右手节点。这里，先使用LINQ语句将这3个点从Skeleton集合中提取出来，然后利用这3个点的相对坐标信息判定演讲者此时的手势。若右手节点的x坐标值比头部节点的x坐标值大0.45(这里的数据都是通过多次实验总结积累的)，则判定为右手向右挥动，此时System.Windows.Forms.Sen

8、dKeys.Sendwait函数发送单击右箭头的操作，从而实现幻灯片向下翻页；同理，若左手节点