基于leap motion的手势识别在虚拟沙画中的应用研究

《基于leap motion的手势识别在虚拟沙画中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、中北大学学位论文基于LeapMotion的手势识别在虚拟沙画中的应用研究摘要随着虚拟现实技术的快速发展和体感交互设备的不断推广，人们越来越倾向于使用自然、方便的方式实现人机交互，尤其是手势交互。因此，虚拟现实系统中手势识别的研究与发展具有重要的意义。沙画创作是21世纪初期新兴的一种艺术创作方式，沙子动画搭配流畅跌宕的背景音乐给人们带来全新的视听感受。近些年，虚拟现实技术逐渐融入沙画艺术中，形成虚拟沙画。因此，本课题以虚拟沙画为应用背景，对手势识别算法理论及LeapMotion的关键技术进行了系统的研究，改进手势识别算法，设计并实现了基于LeapMotion和

2、Unity3D的虚拟沙画系统。主要工作内容如下：(1)深入研究手势识别算法，结合稀疏表示方法和压缩感知理论，引入基于稀疏表示的分类（SRC）算法；在此基础上，结合K-最近邻（K-NN）算法，对SRC算法进行改进，提出KNN-SRC算法，并从理论和实验两方面验证其可行性。(2)结合KNN-SRC手势识别算法，设计并实现了基于LeapMotion的手势识别模型。本文充分利用LeapMotion精确捕获人手信息的特性，完成数据的采集、特征向量的提取、指尖位置的检测及跟踪。同时，改进特征提取算法，优化跟踪算法，最终通过实验对相关改进内容的有效性进行测试，为实现虚拟沙

3、画系统奠定基础。(3)将构建的基于LeapMotion的手势识别模型及相关改进算法应用到Unity3D平台搭建的虚拟沙画系统中。编写脚本文件定义手势语义并在手势识别后实现沙画绘制，采用粒子系统模拟落沙效果，并导入在3DsMax软件中构建的虚拟手模型提升系统的真实感。关键词：LeapMotion，手势识别，KNN-SRC，虚拟沙画中北大学学位论文ResearchonVirtualSandPaintingwithGestureRecognitionBasedonLeapMotionAbstractWiththerapiddevelopmentofvirtualr

4、ealitytechnologyandthecontinuouspromotionofsomatosensorydevices,peopletendtousenaturalandconvenientwaytoachievehuman-computerinteraction,amongwhichgesturerecognitionisthemostconvenientone.Thus,theresearchanddevelopmentofgesturerecognitioninvirtualrealitysystemisofgreatsignificancet

5、othehuman-computerinteraction.Sandpaintingarthasjustemergedintheearly21stcentury,whichisanartisticcreationcombiningsandsandanimation.Becauseitbringsnewaudio-visualexperience,sandpaintingartissoughtafterbyhundredsofpeople.Inrecentyears,virtualrealitytechnologygraduallyintegratedinto

6、skillsofthesandpaintingart,formingvirtualsandpainting.Therefore,takingthevirtualsandpaintingastheapplicationbackground,thetheoryofgesturerecognitionalgorithmandthekeytechnologyofLeapMotionweresystematicallystudiedinthispaper,anewgesturerecognitionalgorithmwasinnovated,andeventually

7、thevirtualsandpaintingsystembasedonLeapMotionandUnity3Dwasdesignedandrealized.Themaindetailsoftheworkareasfollows:1)Thealgorithmsofgesturerecognitionhavebeenthoroughlyresearched.WiththecombinationofSparseRepresentationandCompressedSensing,analgorithmofSparseRepresentationClassifica

8、tion(SRC)wasproposed.Based