融合触、听、视觉的多通道认知和交互模型.pdf

《融合触、听、视觉的多通道认知和交互模型.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第２６卷第４期计算机辅助设计与图形学学报Ｖｏｌ．２６Ｎｏ．４２０１４年４月ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒ－ＡｉｄｅｄＤｅｓｉｇｎ＆ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓＡｐｒ．２０１４融合触、听、视觉的多通道认知和交互模型路璐１，２）１）１）１），田丰，戴国忠，王宏安１）（中国科学院软件研究所人机交互北京市重点实验室北京１００１９０）２）（中国科学院大学北京１００１９０）（ｓｐｒｉｔｅｌｕ＠ｇｍａｉｌ．ｃｏｍ）摘要：以触觉相关的多通道交互研究为立足点，结合经典的多通道假设和最新的认知理论，提出一种融合触觉、听觉、视觉的多通道信息认知加工模型，并就计算机端的信息处理过程提出了多通道交互的分层处理

2、模型，分析了相应的多通道整合方法．该模型对交互界面与程序主体功能定义不同的实现路径，区分交互设备和交互信息处理过程，有利于从不同角度对交互界面的研究工作进行简化，避免高耦合度带来的冗余工作量；实现了一个融合触、听、视觉交互的实例．实例结果表明，利用文中模型能够降低多通道交互研究的分析难度并提高实验效率．关键词：人机交互；触觉交互；多通道整合；交互模型中图法分类号：ＴＰ３９１ＡＳｔｕｄｙｏｆｔｈｅＭｕｌｔｉｍｏｄａｌＣｏｇｎｉｔｉｏｎａｎｄＩｎｔｅｒａｃｔｉｏｎＢａｓｅｄｏｎＴｏｕｃｈ，ＡｕｄｉｔｉｏｎａｎｄＶｉｓｉｏｎ１，２），ＴｉａｎＦｅｎｇ１），ＤａｉＧｕｏｚｈｏｎｇ１），ａｎｄＷａｎｇ

3、Ｈｏｎｇａｎ１）ＬｕＬｕ１）（ＢｅｉｊｉｎｇＫｅｙＬａｂｏｒａｔｏｒｙｏｆＨｕｍａｎ－ＣｏｍｐｕｔｅｒＩｎｔｅｒａｃｔｉｏｎ，ＩｎｓｔｉｔｕｔｅｏｆＳｏｆｔｗａｒｅ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０）２）（ＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０）Ａｂｓｔｒａｃｔ：Ｗｅｐｒｏｐｏｓｅａｃｏｇｎｉｔｉｏｎｍｏｄｅｌｏｎｈｏｗｔｈｅｉｎｆｏｒｍａｔｉｏｎｏｆｔｏｕｃｈ，ａｕｄｉｔｉｏｎａｎｄｖｉｓｉｏｎｉｓｉｎｔｅｇｒａｔｅｄｉｎｈｕｍａｎｍｉｎｄ，ａｎｄａｌａｙｅｒｅｄｐｒｏｃｅｓｓｉｎｇｍ

4、ｏｄｅｌｏｎｈｏｗｔｈｅｃｏｍｐｕｔｅｒｓｐｒｏｃｅｓｓｔｈｅｍｕｌｔｉｍｏｄａｌｉｎｆｏｒｍａｔｉｏｎ．Ｔｈｅｐｒｏｐｏｓｅｄｃｏｇｎｉｔｉｏｎｍｏｄｅｌｉｓｂａｓｅｄｏｎｔｈｅｃｌａｓｓｉｃｃｏｇｎｉｔｉｏｎｍｏｄｅｌｏｆｍｕｌｔｉｍｅｄｉａｌｅａｒｎｉｎｇ，ａｎｄｔｈｅｉｄｅａｓｏｆｔｈｅｌａｔｅｓｔｃｏｇｎｉｔｉｏｎｔｈｅｏｒｉｅｓ．Ｔｈｅｐｒｏｐｏｓｅｄｌａｙｅｒｅｄｐｒｏｃｅｓｓｉｎｇｍｏｄｅｌｓｅｐａｒａｔｅｓｔｈｅｐｒｏｃｅｓｓｉｎｇｒｏｕｔｅｏｆｔｈｅｉｎｔｅｒｆａｃｅｆｒｏｍｔｈｅｍａｉｎｆｕｎｃｔｉｏｎｉｎｔｈｅａｐｐｌｉｃａｔｉｏｎ，ａｓｗｅｌｌａｓｔｈｅｉｎｔｅｒａ

5、ｃｔｉｖｅｄｅｖｉｃｅｆｒｏｍｔｈｅｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｉｎｇ．Ｔｈｅｓｅｐａｒａｔｉｏｎａｖｏｉｄｓｔｈｅｒｅｄｕｎｄａｎｔｗｏｒｋｃａｕｓｅｄｂｙｈｉｇｈｃｏｕｐｌｉｎｇ，ａｎｄｓｉｍｐｌｉｆｉｅｓｔｈｅｗｏｒｋｏｆｉｎｔｅｒｆａｃｅｓｔｕｄｙｆｒｏｍｄｉｆｆｅｒｅｎｔｐｅｒｓｐｅｃｔｉｖｅｓ．Ｔｈｅｓｉｍｐｌｉｆｉｃａｔｉｏｎｈｅｌｐｓｒｅａｌｉｚｉｎｇａｓｉｍｐｌｅｖｅｒｓｉｏｎｏｆａｍｕｌｔｉｍｏｄａｌｉｎｔｅｒａｃｔｉｏｎｓａｍｐｌｅｉｎｔｅｇｒａｔｉｎｇｔｏｕｃｈ，ａｕｄｉｔｉｏｎａｎｄｖｉｓｉｏｎ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔ

6、ｈｅｍｏｄｅｌｐｒｏｐｏｓｅｄｃｏｕｌｄｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｉｎｉｎｔｅｒａｃｔｉｏｎｓｔｕｄｉｅｓ．Ｋｅｙｗｏｒｄｓ：ｈｕｍａｎｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ；ｔｏｕｃｈｂａｓｅｄｉｎｔｅｒａｃｔｉｏｎ；ｍｕｌｔｉｍｏｄａｌｉｎｔｅｇｒａｔｉｏｎ；ｉｎｔｅｒａｃｔｉｏｎｍｏｄｅｌ近年来，对触觉界面的研究和设计迅速吸引着系统已经成为与键盘、鼠标并立的主流交互形式．虽［１－３］越来越多的研究者和开发团队，随着触屏手机、然利用人的操作对机器系统进行触摸控制的设备已平板电脑等各种触控设备的普及，基于触摸的交互经广泛普及，但是由机器系统对人体施加触觉刺激的收稿日期：２０

7、１３－０８－０９；修回日期：２０１３－１０－２５．基金项目：国家“九七三”重点基础研究发展计划项目（２０１３ＣＢ３２９３０５）；国家自然科学基金（６１２３２０１３，６１１７０１８２，６１１００１５１）路璐（１９８３—），女，博士研究生，主要研究方向为人机交互、数字表演与仿真技术；田丰（１９７６—），男，博士，研究员，博士生导师，ＣＣＦ高级会员，主要研究方向为人机交互、虚拟现实；戴国忠（１９４４—），男，主任研