多模态人机交互技术.ppt

《多模态人机交互技术.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、多媒体技术基础第九章多模态人机交互技术从最早的手工操作到命令语言，再到广泛使用的图形用户界面，操作的直观性有了明显的改善通过本章学习，可以了解（或掌握）多模态人机交互技术的概念科学计算可视化信息可视化虚拟现实技术9.1人机交互技术概述9.1基本概念人机交互式研究人、计算机以及它们相互影响的技术。人机界面是计算机与人之间通信和对话的接口，是计算机系统的重要组成部分。9.1.人机界面的发展历史1.手工操作2.命令行界面3.图形用户界面WIMP界面，即以窗口、图表、菜单和指点装置为基础的人机界面技术9.1.3人机交互的发展趋

2、势目前，人机交互技术正朝着以人为中心，减少人机隔阂，建立和谐的人机环境这一目标发展。9.2多模态人机交互9.2.1多模态人机交互概述模态是心理学领域中的一个标准术语，指感知信息的感觉，也就是感觉模态。所谓多模态人机交互，就是基于智能接口技术，充分利用人的多种感知通道，以并行的、非精确的方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。多模态人机交互技术所涉及的研究范围包括感知模型，语音识别，手写识别，姿势识别，表情识别，眼动跟踪，自然语言理解，触觉感知与表示，多模态通道信息融合，高性能视觉和听觉处理平台等。1

3、.采用多模态交互可以充分利用各种模态的特性，完成其在功能上的划分和互补。2.使用多模态可以提高交互方式的灵活性。3.多模态并非多个模态的集合，而是它们之间的整合。也就是说，将手势、语音与其他模态结合起来，采用具体的整合模型或算法，得到高一级的语义特性并且实现特定的应用。多模态人机交互的研究主要包括以下五个部分：1）语音识别、理解及合成2）手势识别技术3）人脸的研究4）唇读的研究5）人体动作的研究9.2.2多模态人机交互的特点1）使用多个感觉和动作模态2）三维的和直接操纵的要求3）允许模糊交互4）交互双向性5）交互的隐含

4、性它所要达到的目标自然性、高效性和兼容性9.2.3多模态整合1.多模态整合实例1）手的运动轨迹跟踪与语音识别的整合（1）手势（2）直接操纵（3）用声音辅助的手势表达形状2）语音识别与唇读的整合3）其他2.多模态整合考虑因素1）操作部位2）带宽3）误差4）桌面空间5）成本9.3可视化可视化是指充分利用人们对可是模式快速识别的自然能力，将数据信息和知识转化为一种视觉形成的过程。有效的可是画界面使得人们能够观察、操纵、浏览、探索、过滤、发现、理解大规模数据能够方便的与之进行交互，从而可以有效地发现隐藏在内部的特征和规律。9.

5、3.1科学计算可视化科学计算可视化是指运用计算机图形学和图像处理技术，将科学计算过程中及计算结果的数据转换为图像及图像在屏幕上显示出来，进行交互处理的理论、方法和技术。科学计算可视化技术的主要特点归纳为如下三点。交互性、多维性和可视性。科学计算可视化可按其功能分为三个层次。1）科学计算结果数据的后处理2）科学计算结果数据的实时处理及显示3）科学计算结果数据的实时绘制及交互处理9.3.2信息可视化目前可视化在以下四个方面发挥着重要作用：1）层次信息的可视化2）多位信息可视化3）文档（文本）信息可视化4）Web可视化9.4

6、虚拟现实虚拟现实（VR,VirtualReality）是一计算机技术为核心构造的一个虚拟的世界，但在人们的感觉中，他却好像真实的世界一样。9.4.1虚拟现实技术的基本概念通常是指用头盔显示器和传感手套等一系列新型交互设备构造的一种计算机软硬件环境。人们通过这些设施以自然的技能向计算机传送各种命令，得到计算机对用户的视觉、听觉及触觉等多种感官的反馈。随着人们动作的变化，这些感官也随之改变。9.4.2虚拟现实的特性三个“I”这就是沉浸Immersion、交互Interaction和想象Imagination。首先，要是参与

7、者有真实的体验。第二，系统要能提供方便的，丰富的，主要是基于自然技能的人机交互手段。第三，因为虚拟现实不仅仅是一种媒体或用户的高端接口，而且还是针对某个特定领域、解决某些问题的应用。9.4.3虚拟现实系统的分类1.非沉浸类虚拟现实系统1）全景视频系统2）基于座舱的系统3）桌面虚拟现实CAD系统4）基于剧情的虚拟现实系统2.沉浸类虚拟现实系统1）基于头盔显示器的系统2）投影虚拟现实系统3）遥在系统3.分布式虚拟现实系统4.增强现实系统9.4.4关键技术1.环境建模技术2.三维交互技术1）三维跟踪技术2）立体声合成和立体显

8、示技术3）触觉反馈和力学反馈4）自然交互技术3.高性能计算处理技术4.分布式虚拟现实