第9章 多媒体通信同步技术

《第9章 多媒体通信同步技术》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第9章多媒体通信同步技术9.1概述9.2多媒体同步参考模型*9.3同步的描述方法*9.4多媒体同步控制机制练习与思考题9.1概述9.1.1同步的基本概念多媒体系统中集成了具有各种不同时态特性的媒体，这些媒体有依赖于时间的媒体(例如视频、音频、动画等)和独立于时间的媒体(例如文本、静止图像、表格等)。媒体对象的时间相关性可能隐藏在建立过程中，也可能由用户自己定义。在单一的媒体系统中，所有的媒体表现出同样的时态行为，时间并不需要特别的注意。随着多媒体系统的发展，媒体间的各种时态关系变得越来越复杂。任何一种情况下，媒体对象

2、的时间相关性必须在多媒体系统中得到体现和支持。多媒体数据由于多媒体系统中集成了多种不同时态特征的媒体，如视频、音频和动画的媒体是依赖于时间的，而文本、静止图像和表格是独立于时间的。实时媒体数据/连续媒体数据――有着严格时间关系的音频、视频等类型的数据；非实时媒体数据/静态媒体数据――其他类型的数据。一般的讲，多媒体数据这种复合数据体中至少包含一种非实时数据和一种实时数据。多媒体数据内部约束关系多媒体数据所包含的各种媒体对象并不是相互独立的，它们之间存在着多种相互制约的关系（或者称同步关系）。多媒体数据内部所固有的约束

3、关系可以概括为基于内容的约束关系、空域约束关系和时域约束关系。基于内容的约束关系指在用不同的媒体对象代表同一内容的不同表现形式时，内容与表现形式之间所具有的约束关系。这种约束关系在数值分析中应用较多。支持这种约束关系需要解决的问题是，在多媒体数据更新过程中确保不同媒体对象所含信息的一致性，即在数据更新后，保证代表不同表现形式的各媒体对象都与更新后的数据相对应。解决问题的方法有：定义原始数据与不同媒体数据之间的转换原则，由系统而不是用户来完成对媒体数据的调整。空域约束关系又称布局关系，用来定义在多媒体数据显示过程中的某一

4、时刻，不同媒体对象在输出设备上的空间位置关系。时域约束关系又称时域特征，反映媒体对象在时间上的相对依赖关系，主要表现在两个方面：连续媒体对象内的相对时间关系；各个媒体对象之间的相对时间关系。多媒体同步就是保持和维护各个媒体对象之间和各个媒体对象内部存在的时态关系，组织多种媒体序列以实现某种特定的表现任务。多媒体同步的核心基础是为这些同步关系建立一个独立于实现环境的抽象的描述模型。同步问题有两层含义：首先，时态行为(包括表示单元的彼此关系)必须有明确的定义，使用时态定义可以方便用户复审、系统表示和存储。其次，在表示媒体单

5、元的时候，多媒体系统必须保证各媒体时态的正确性。多媒体同步可以从多媒体同步规范和多媒体同步控制两个层次来讨论。多媒体同步规范描述了媒体对象之间和各个媒体对象内部存在的时态关系，确定了多媒体的时态说明，是多媒体系统的重要组成部分。多媒体同步规范通常包括：媒体对象内的同步、媒体对象之间的同步以及业务品质QoS描述。多媒体同步控制机制是开发各种同步控制策略以及同步控制协议，解决由于网络延迟、抖动、进程调度等各种不确定因素带来的负面影响，实现多媒体同步规范描述的多媒体时态说明。9.1.2同步的类型1．上层同步上层同步又

6、称表现级同步或交互同步，即用户级同步。这一级同步从用户的角度出发设计模型框架，要求模型既能体现用户的交互性，又能容易被用户理解和使用；同时还是一个同步模型，即以时间为控制线索的模型。用户可以对各个媒体进行编排，由此决定何种媒体何时以何种时空关系表现出来。上层同步的同步机制是由多媒体信息中的脚本信息来提供的，在实际的多媒体应用中，它是一种事件驱动同步，它发生在系统中某一节点需要起始动作的情况下。此动作的发生，即同步点，如文献中的特定点、用户鼠标的动作点、系统设备到达某特定状态等。例如，在一个多媒体幻灯片的演示过程中，要对

7、一组图像进行口头解释，这就要求在上一段说明语音完成以后，才能出现下一幅图像，这种情况下，同步点处于图像段的改变点或讲解段的起始点（或结束点）上。2．中层同步中层同步即合成同步，这里的合成指的是信息的合成，即不同媒体类型的数据之间的合成，所以，合成同步又称为“媒体之间的同步”。这层同步涉及到不同类型的媒体数据，侧重于它们在合成表现时的时间关系的描述。合成同步的作用就是将不同媒体数据流按一定的时间关系进行合成。一些要求精度较高的连续同步就属于这一类。如在可视电话中，音频和视频必须始终同步地表现在接收端上，以确保口形与声音

8、的同步。这时媒体之间的同步，除了数据的开始点和结束点必须保证以外，从开始点到结束点的整个过程中均要求保持同步。3．底层同步底层同步即系统同步，又称媒体内部同步。这里，系统同步指的是该层同步如何根据各种输入媒体对应的实际硬件系统的性能参数来协调完成其上层合成同步所描述的各对象内的时序关系。譬如在单机情况下，同步技术要考虑的时间因