一种多媒体信息交互系统音视频同步方法-论文.pdf

《一种多媒体信息交互系统音视频同步方法-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第34卷第3期杭州电子科技大学学报V0l_34．No32014年5月JoumalofHangzhouDianziUniversityMav．2014doi：10．3969／j．issn．1001—9146．2014．03—013一种多媒体信息交互系统音视频同步方法郑睿，张江林，徐志江(1．浙江工业大学省通信网应用技术研究重点实验室，浙江杭州310023；2．浙江广电新媒体有限公司，浙江杭州310012)摘要：该文分析了引起音视频不同步现象的影响因素和当前音视频同步方法的优缺点，采用时问戳、缓存技术和丢包处理机制，提出了一种改进的音视频同步方法。在发送端，

2、同一时刻采集的音视频数据同步发送，数据通过同一个端口传输。在接收端，设置缓存进行媒体内同步，采用主流为音频，从流为视频的主从流同步控制方式，基于时间戳判断音视频数据的同步关系，实现音频播放的流畅性和音视频媒体间同步。经过实际测试，效果良好。关键词：音视频同步；时间戳；缓存技术；丢包处理机制；主从流中图分类号：TN919．8文献标识码：A文章编号：1001—9146(2014)03—0053—040引言在多媒体交互系统中，由于数据传输是基于UDP协议，其具有不可靠信息传送服务的特点。传输过程中数据包可能丢失，且每个包到达时延不同，导致播放时会出现声像不同步

3、问题⋯。此问题可以采用媒体同步技术解决，因此实现音视频同步是整个系统设计的重点与难点。国内外对媒体同步技术广泛关注，到目前为止，提出了多种的同步模型和同步方案。本文根据系统的实际应用环境，研究当前的同步方案，提出了一种新的音视频同步方法。将此方案应用到多媒体交互系统中，取得较好的同步效果。1现有音视频同步方法介绍当前主流的同步方法有：时间戳同步信道法J、基于RTP／RTCP的同步机制和音频嵌入视频同步技术。时间戳同步信道法将同步控制信息与媒体数据分离，流内同步采用时间戳技术，流问同步通过同步信道技术。此同步方法流内和流间拥有较好的准确性和容错性，但是媒体

4、流以及同步信号分开传输，需要额外的信道开销。基于RTP／RTCP的同步机制利用RTCP传送控制分组，提供QoS监视机制，动态修改发送端的数据传输速率。此方法控制灵活，实时l生好，但在通信的过程中改变了媒体流的发送过程，导致接收端播放过程改变。音频嵌入视频同步技术实现了音视频数据在信道的同步传输和同步到达接收端，但是音频嵌入视频编码了计算复杂度，且对视频质量有一定影响。收稿日期：2013—07—20基金项目：浙江省重点科技创新团队资助项目(2012R50011)作者简介：郑睿(1989一)，男，浙江衢州人，在读研究生，通信与信息系统第3期郑睿等：一种多媒体

5、信息交互系统音视频同步方法55缓存中提起一帧图像数据，得到其时间戳Tv。1)若Ta—Tv>M，视频帧滞后，丢弃视频帧；2)若Tv—Ta>M，视频帧超前，将当前视频帧缓存，等待播放下一帧音频时重新进行判断；3)若一M≤Tv—Ta≤M，播放当前视频帧。在同步处理时，加入了去马赛克机制。如果是主帧滞后，则丢弃主帧和此主帧之后所有的辅帧；如果是辅帧滞后，则只丢弃当前辅帧。加去马赛克机制的同步流程图如图2所示，hasWaitingFrame为超前帧等待处理标志位，true表示有超前帧等待处理；flag为主帧丢弃标志位，true表示主帧滞后丢弃。图2去马赛克机制的音

6、视频同步流程3效果演示将本方案应用于多媒体信息交互系统，实现一个简单的基于Android的客户端，音视频数据通过媒体服务器转发。本客户端在三星19150(Android4．1．2)和小米2(Android4．1．1)设备上测试，网络环境为wifi。音频流畅性好，视频图像清晰度较高，无明显马赛克现象，如图3所示。图3(a)为三星手机界面，图3(b)为小米手机界面。在手机视频会议界面中，左上角为本地视频预览画面，底部较大区域播放来自发送端的视频画面。为了验证同步机制是否有效果，在接收端分别统计采用同步(a)(b)机制前后，音视频帧同步关系概率分布。测试时设置

7、发送端发送图3客户端音视频互通界面1000个视频帧，经过多次测试取平均值，音视频同步关系概率分布如表1所示。可见采用同步方法可以很好地纠正音视频失步现象。56杭州电子科技大学学报2014年表l音视频数据同步关系概率分布表4结束语在多媒体交互系统中，音视频同步是关键技术。通过分析引起音视频不同步的影响因素，结合当前已有的音视频同步方案，提出了一种新的音视频同步方法。基于RTP包头时间戳、缓存机制和丢包处理机制，音视频播放采用主从流方式，保证音频的流畅性。方法实现简单，运算复杂度低，占用系统资源少，并具有可扩展性。通过实际测试，同步效果良好，具有明显的实用价

8、值。参考文献l王风纯，鲁静．基于RTP／RTCP的音视频同步方法研究[J]．软件