一种基于视觉的手指屏幕交互方法

《一种基于视觉的手指屏幕交互方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、一种基于视觉的手指屏幕交互方法徐一华，李善青，贾云得(北京理工大学计算机科学技术学院，北京100081)摘要：本文提出了一种新的基于视觉技术的手指屏幕交互方法，利用手指在屏幕上的移动和点击等动作完成与计算机的交互。该方法使用两个摄像头从不同视角实时拍摄计算机屏幕，结合人手肤色和轮廓信息对手指进行实时跟踪，并根据两幅图像中的指尖位置和摄像头参数来判断指尖是否接触屏幕。实验结果表明，该方法可以完成鲁棒的手指跟踪和准确的点击检测，对光照条件没有严格的限制，实现了自然友好的人机交互操作，可以运用于智能交互、数字娱乐、穿

2、戴计算等多种应用场合。关键字：手指跟踪，手指屏幕交互，人机交互中图分类号：TP391文献标识码：A文章编号：AVision-BasedMethodforFinger-ScreenInteractionXUYi-hua,LIShan-qing,JIAYun-de(SchoolofComputerScienceandTechnology,BeijingInstituteofTechnology,Beijing,100081,China)Abstract:Thispaperpresentsanovelvision-b

3、asedmethodforfinger-screeninteractionwhichachievesnaturalinteractionsthroughmovingandclickingasinglefingeronacomputerscreen.Themethodusestwocamerasatdifferentviewpointstocapturevideoimagescoveringthecomputerscreeninrealtime.Weintegratetwocuesofskincolorandco

4、ntourinformationtotrackfinger’smotionsintheframeworkofparticlefilter.Theclickingactionsonthescreensurfacearedetectedwiththeobtainedfingertippositionsandthegeometryparametersofcameras.Experimentalresultsdemonstratethattheinteractivemethodcanrealizerobusttrack

5、ingoffingermotion,againstcomplexbackgroundandvaryingilluminationconditions,aswellastheinstantdetectionoffingerclickingactions.Thismethodachievesrobustandnaturalhuman-computerinteraction,andcanbewidelyusedinmanyapplications,suchasintelligentinteraction,digita

6、lentertainmentandwearablecomputingenvironment.动产生的严重变形，手指之间的相互遮挡等，这1引言些都使得鲁棒精确的图像分割和特征提取成为难键盘、鼠标和操纵杆等是传统的人机交互设[1]点。为降低视觉处理的复杂性，人们使用带有特备，但在使用自然性和友好性等方面有一定的局殊标记的手套等来辅助获取手的位置、方向等信限性。人们习惯用双手与外界进行大部分交互操[2]息。这些辅助设备可以在很大程度上提高算法的作，因此利用人手的运动和姿势与计算机进行交鲁棒性，但也给使用者带来了不方便

7、。人们利用互是很自然的。基于视觉的手势交互技术利用摄手部的自然信息如肤色、形状等进行特征提取，像头等设备获取人手运动的图像序列，通过视觉[3]开发出许多基于手势的交互系统。如在Hall，算法提取人手静态或动态特征、识别人手的姿态[4][5][6]Kjeldsen，Hardenberg，Takao等人的工或动作，从而理解人的意图实现人机交互。该技作中，通过投影仪将图像投射到墙面或桌面，利术在智能交互、计算机游戏和穿戴计算等领域有用摄像头捕捉人手在投影平面上的运动和姿势，广泛的应用前景。从而实现了手指绘图或点击按钮

8、等交互操作。基于视觉的手势交互领域存在许多困难和挑[7]Zhang等设计的VisualPanel系统使用单个摄战，如复杂背景和光照变化的影响，人手快速运像头实现了虚拟鼠标和键盘。它使用任意的矩形────────收稿日期：2005-11-21；修回日期：2007-4-29基金项目：国家自然科学基金项目(No60473049)1面板作为交互界面，通过手指在纸板上的移动和以在复杂的背景下获得