媒体认知实验教学理念与实践研究

《媒体认知实验教学理念与实践研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、媒体认知实验教学理念与实践研究杨毅1，徐淑正1，乔飞1，王靖淇2，王生进1（1．清华大学电子工程系，北京100084；2．英特尔（中国）有限公司，北京100()13)摘要：媒体与认知实验课程是清华大学电子工程系在课程改革中提出的一门全新的核心必修课程。文章首先阐述该课程的特点，然后介绍基于英特尔RealSense设备及微软Kinect设备开发的一套探索前沿型实验教学平台，分别说明基于手势识别的博弈游戏实验项目和基于姿势识别的组合拍照实验项目，指出通过这些前沿的基于交叉学科的智能感知技术和内容，学生

2、可以掌握成为本领域高层次专业人才必需的各项基本技能和专业知识。.jyqkail protected]．edu．。1背景媒体与认知实验课程借鉴包括美国MIT大学、CMU大学、Stanford大学、英国伦敦大学学院等在内的国外著名大学跨媒体信息处理、入机交互与感知技术、虚拟现实及信号处理领域实验教学课程的特点，并结合清华大学电子工程系在该领域研究的基础、优势和创新性成果，有针对性地将已有科研成果转化为教学实验课中的教学内容，通过建设一套完整、全面的涵盖人机感知交互、媒体信息处理、虚拟现实及信

3、号处理领域的探索前沿型实验教学平台，培养学生的智能感知技术开发能力；同时，采用集体创新培养和个人研究探索相结合的方式，最终达到理工与人文、技术与艺术、感知与思考的高度融合，成为具有国际一流水平的、兼具科研创新能力和探索精神的领军型人才。实验教学课程内容及平台涉及的主要研究内容包括媒体数据获取与人机交互、生物特征识别、语音识别及情感理解、虚拟交互行为分析等。该实验课程力图建设成为达到国际水平的智能感知技术实验教学课程及项目平台。通过该实验课程的建立，学生能够了解国际科学界及工业界最前沿的媒体认知及智

4、能感知技术热点和难点问题，利用平台的基础设施和设备构建并实施多种解决方案。跨行业、跨领域、跨学科的媒体认知及智能感知类前沿综合实验课程，通过借助智能感知及人机交互知识作为工具和手段解决媒体信息处理、虚拟现实及人机交互的问题，充分挖掘和激发理工科背景知识较佳的电子工程系学生在交叉学科和前沿技术方面的实力和潜力。2媒体与认知实验课程特点媒体与认知实验设计开发了一套以实时智能感知技术为基础的探索前沿型实验教学平台，该平台在设备和设计内容方面均与国际水平接轨，具有教学互促、知识延伸、技能拓展的特点。项目平

5、台涵盖跨媒体信息处理、人机交互与感知技术、虚拟现实等领域的设备和技术，力图成为与国际接轨的探索前沿型实时智能感知实验教学平台。该课程涉及的技术和研究方向均为国内外智能感知技术领域各大高校和科研院所的研究热点及难点，将这些研究内容引入实验教学，可以引导本科学生开阔科研视野、坚定科研信念和明确科研方向。通过构建与国际最新研发技术水平相当的实验平台，学生能够了解国际领先的媒体认知及信号处理知识和技能，利用该平台的基础设备构建并实施多种解决方案；教学最终达到培养掌握国际领先技术、具有突出创新实践能力和持续

6、探索精神的高素质人才的目的。该平台内容主要面向各年级本科生及硕士研究生，与基础核心课、专业限选课等课程配套，逐步形成层次清晰、逐级扩展的具有创新探索前沿性质的智能感知技术教学实验课程体系。3基于手势识别的媒体认知实验项目人机交互的双向信息流动是以媒体感知和处理为核心的。人将用户感觉和效应通道传递的交互意图在计算机内表示为文本、语音、图形、图像等多媒体信息。人到机(humantoputer)信息流动是多媒体信息的获取及识别过程，计算机处理的信息需要以文本、语音、图形、图像等用户理解概念所需的多媒体信

7、息形式展现出来；机到人(putertohuman)的信息流动是多媒体信息的合成和呈现过程，机器利用感知及推理对来自用户感觉和效应通道的跨媒体信息进行识别、集成和协调，获取用户动作和行为习惯、偏好及其他相关信息，以人类易理解的多媒体信息方式为用户提供输出信息，从而提供不受时空限制而效能最大化的个性化计算服务。美国Stanford大学电子工程系提出一种基于Kinect的手势识别方法，通过Kinect获取RGB图像信息和深度数据，采用SURF变换算法实现高准确度的手势识别。西班牙马德里卡洛斯大学机器人实

8、验室(RoboticsLab，Univ.CarlosIIIofMadridLeganes，Spain)针对传统的手势识别系统受光照条件影响导致计算量大、训练过程长等问题，根据RGB-D摄像头获取的深度数据建立人手的骨骼模型，从三维骨骼模型中提取手势的时域信号，采用有限状态机对手势不同状态下的方向进行编码，采用基于模板的分类器识别出手势。瑞士苏黎世联邦理工大学计算机视觉实验室(puterVisionLab，ETHZurich，Zurich，Switzerland)提出一种基于Haar