人机交互实验2报告解读.doc

《人机交互实验2报告解读.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、实验报告（/学年第学期）课程名称人机交互基础教程实验名称多通道用户界面实验时间年月日指导单位指导教师学生姓名班级学号学院(系)专业19实验报告实验名称多通道用户界面指导教师实验类型验证实验学时3实验时间一、实验目的和要求1)了解常见的多通道用户界面2)查找资料，熟悉一种多通道用户界面并写出综述二、实验原理综合采用视线、语音、手势等新的交互通道、设备和交互技术，使用户利用多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性

2、。多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图的理解，所要达到的目标可归纳为如下方面：1)交互的自然性使用户尽可能多地利用已有的日常技能与计算机交互，降低认识负荷。2)交互的高效性使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力。3)与传统的用户界面特别是广泛流行的WIMP/GUI兼容。(1)多通道用户界面的基本特点1)使用多个感觉和效应通道2)允许非精确的交互91)三维和直接操纵2)交互的双向性3)交互的隐含性(2)涉及的主要技术1)多媒体使用多种表示媒体，

3、如文本、图形、图像和声音，使人机交互技术最终要向着更接近于人的自然方式发展，使计算机具有听觉和视觉，以更自然的方式与人交互。2)虚拟现实又称虚拟环境，虚拟现实系统向用户提供沉浸和多感觉通道体验。虚拟现实系统具有三个重要特点：沉浸感、交互性、构想性。3)眼动跟踪与视觉有关的人机交互自始至终都离不开视线的控制。如果能通过用户的视线盯着感兴趣的目标，计算机便“自动”将光标置于其上，人机交互将更为直接。4)手势识别一个简单的手势蕴涵着丰富的信息，人与人可以通过手势传达大量的信息，实现高速的通信。将手势运用于计算机能

4、够很好地改善人机交互的效率。5)三维输入三维空间控制器的共同特点是具有六个自由度，分别描述三维对象的宽度、深度、高度、俯仰角、转动角、偏转角。通过控制这六个参数，用户可以在屏幕上平移三维对象或光标，也可沿三个坐标轴转动三维对象。在三维用户交互中必须便于用户在三维空间中观察、比较、操作、改变三维空间的状态。6)语音识别语音识别是计算机通过识别和理解过程把语音信号转变为相应的文本文件或命令。7)表情识别面部表情是人体语言的一部分。人的各种情绪变化以及对冷热的感觉都是非常复杂的高级神经活动，如何感知、记录、识别这

5、些变化过程是表情识别的关键。8)手写识别发展手写识别技术并嵌入到各种设备中，将是手写识别技术未来发展的重要方向之一。符合人的书写习惯，是最自然的输入方式。9)数字墨水数字墨水是一种新的人机界面技术，它借鉴手写识别技术的同时，克服了它的许多局限性。数字墨水在数学上是通过三阶贝塞尔曲线来描述笔输入的笔迹，它的记录格式与图像和文本格式都不同。这种存储方式使得数字墨水文件的大小很小，从而可以更有效地进行存储。9三、实验步骤1)借助图书馆的中英文参考文献资料以及网络，确定出一种多通道用户界面，可以是眼动跟踪、手势识别

6、、三维输入、语音识别、表情识别、手写识别等。2)完成对该多通道用户界面的综述(包括定义、发展历史、当前的应用、主要的研究方法分类、以及发展前景以及中英文参考文献（至少各5篇）)四、语音识别综述1前言随着信息技术的高速发展和人类对计算机的依赖性不断增强，人机交互(Human-ComputerInteraction)能力越来越受到研究者的重视。如何实现计算机的拟人化，使其能感知周围的环境和气氛以及对象的态度、情感的内容，自适应地为对话对象提供最舒适的对话环境，尽量消除操作者和机器之间的障碍，已经成为下一代计算机

7、发展的目标。显然，人的大脑所表现出来的心智现象不仅仅体现在“智”的方面，而且还体现在“心”的方面。人工智能已经不仅仅把研究重点放在对人脑智能实现上，而且也开展了对情感和意识方面的研究。一般认为情感是通过语言、姿态、音乐和行为等表达模式来进行交流的，而其中语音信号中的情感信息处理的研究正越来越受到人们的重视。顾名思义，语音情感识别包括语音识别和情感识别两大领域，而情感识别中又包括诸如心理学、生理学等多个学科，所以如果要想使计算机准确的在语音中提取出说话人所表达的感情，就必须要从多方面知识领域着手。目前有许多关

8、于语音和情感之间相互联系的研究，如美国、日本、欧洲、韩国等许多国家的一些研究单位都在进行情感语音处理研究工作。语音情感识别技术的用途非常广泛，可以用来设计人性化的语音人机界面；可以用于互动影视；可以用于辅助语音识别；可以用于情感翻译；还可以用在测谎、电子游戏和辅助心理治疗等方面。2研究现状2.1概述1967年，诺贝尔奖得主SimonHA.在认知基础领域强调[1]：“思想和解决问题的基础理论都不能忽视情感对他们的影