H264关于RTP协议的实现.pdf

《H264关于RTP协议的实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、H264关于RTP协议的实现2010-07-2213:35完整的C／S架构的基于RTP／RTCP的H．264视频传输方案。此方案中，在服务器端和客户端分别进行了功能模块设计。服务器端：RTP封装模块主要是对H．264码流进行打包封装；RTCP分析模块负责产牛和发送RTCP包并分析接收到的RTCP包；QoS反馈控制模块则根据RR报文反馈信息动态的对发送速率进行调整；发送缓冲模块则设置端口发送RTP、RTCP包。客户端：RTP模块对接收到的RTP包进行解析判断；RTCP模块根据SR报文统计关键信息，产牛并发送RR包。然后，在V

2、C++6．0下用Socket编程，完成基于RTP／UDP／IP的H．264视频传输，并在局域网内运行较好。基于RTP／UDP／lP的H．264视频传输结构设计对于H．264视频的实时传输应用来说，TCP的重传机制引入的时延和抖动是无法容忍的，因此我们采用UDP传输协议。但是UDP协议本身是面向无连接的，不能提供质量保证。而基于UDP之上的高层协议RTP／RTCP可以一起提供流量控制和拥塞控制服务。图给出了基于RTP／UDP／IP的H．264视频传输的框架。H．264视频流的RTP封装策略从图4—1可以看出，H．264视频数

3、据首先经RTP进行封装，打包成适合网络传输的数据包才能进行传输。所以，如何设计合适的RTP封装策略对H．264视频数据进行封装是十分重要的。一般来说，在H．264中，RTP封装应该遵循几个设计原则：1、较低的开销，因此MTU的尺寸应该限制在100—64K字节范围内。2、易于区分分组的重要性，而不必对分组内的数据解码。3、应能检测到数据的类型，而不需解码整个数据流，并能根据编码流之间的相关性丢弃无用数据，如网关应能检测A型分割的丢失，并能丢弃相应的B型和C型分割。4、应支持将一个NALU拆分为若干个RTP包：不同大小的输入图

4、片决定了NALU的长度可能会大于MTU，只有拆分后才会避免IP层在传输时出现分片。5、支持将多个NALU汇集在一个RTP分组中，即在一个RTP包中传输超过一个NALU，当多个图片的编码输出小于M1IU时就考虑此模式，以提高网络传输效率。RTP载荷封装设计本文的网络传输是基于IP协议，所以最大传输单元(MTU)最大为1500字节，在使用IP／UDP／RTP的协议层次结构的时候，这其中包括至少20字节的IP头，8字节的UDP头，以及12字节的RTP头。这样，头信息至少要占用40个字节，那么RTP载荷的最大尺寸为1460字节。一

5、方面，如果每个IP分组都填满1500字节，那么协议头的开销为2．7％，如果RTP载荷的长度为730字节，协议头的开销仍达到5．3％，而假设RTP载荷的长度不到40字节，那么将有50％的开销用于头部，这将对网络造成严重资源浪费。另一方面，如果将要封装进RTP载荷的数据大于1460字节，并且我们没有在应用层数据装载迸RTP包之前进行载荷分割，将会产生大于MTU的包。在IP层其将会被分割成几个小于MTU尺寸的包，这样将会无法检测数据是否丢失。因为IP和UDP协议都没有提供分组到达的检测，如果分割后第一个包成功接收而后续的包丢失，

6、由于只有第一个包中包含有完整的RTP头信息，而RTP头中没有关于载荷长度的标识，因此判断不出该RTP包是否有分割丢失，只能认为完整的接收了。并且在IP层的分割无法在应用层实现保护从而降低了非平等包含方案的效果。由于UDP数据分组小于64K字节，而且一个片的长度对某些应用场合来说有点太小，所以应用层的打包也是RTP打包机制的一个必要部分。最新的RFC3984标准中提供了针对H．246媒体流的RTP负载格式，主要有三种：单个NAL单元分组、聚合分组、片分组。NAL单元单一打包将一个NAL单元封装进一个包中，也就是说RTP负载中

7、只包含一个NAL单元，NAL头部兼作RTP头部。RTP头部类型即NAL单元类型1-23，如下图所示：NAL单元的重组此分组类型用于将多个NAL单元聚合在一个RTP分组中。一些H．264的NAL单元的大小，如SEINAL单元、参数集等都非常小，有些只有几个字节，因此应该把它们组合到一个RTP包中，将会有利于减小头标(RTP／UDP／IP)的开销。目前存在着两种类型聚合分组：NAL单元的分割将一个NAL单元分割，使用多个RTP分组进行传输。共有两个类型FU—A和FU—B，单元类型中分别为28和29。根据IP层MTU的大小，对大

8、尺寸的NALU必须要进行分割，可以在分别在两个层次上进行分割：1)视频编码层VCL上的分割为了适应网络MTU的尺寸，可以使用编码器来选择编码SliceNALU的大小，从而使其提供较好的性能。一般是对编码Slice的大小进行调整，使其小于1460字节，以免IP层的分割。2)网络提取层NAL上的分割在网络提