h.264码流结构解析

《h.264码流结构解析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、H.264码流结构解析1.H.264简介MPEG（MovingPictureExpertsGroup）和VCEG（VideoCodingExpertsGroup）已经联合开发了一个比早期研发的MPEG和H.263性能更好的视频压缩编码标准，这就是被命名为AVC（AdvancedVideoCoding），也被称为ITU-TH.264建议和MPEG-4的第10部分的标准，简称为H.264/AVC或H.264。这个国际标准已经与2003年3月正式被ITU-T所通过并在国际上正式颁布。为适应高清视频压缩的需求，200

2、4年又增加了FRExt部分；为适应不同码率及质量的需求，2006年又增加了可伸缩编码SVC。2.H.264编码格式H.263定义的码流结构是分级结构，共四层。自上而下分别为：图像层(picturelayer)、块组层(GOBlayer)、宏块层(macroblocklayer)和块层(blocklayer)。而与H.263相比，H.264的码流结构和H.263的有很大的区别，它采用的不再是严格的分级结构。H.264支持4:2:0的连续或隔行视频的编码和解码。H.264压缩与H.263、MPEG-4相比，视频压

3、缩比提高了一倍。H.264的功能分为两层：视频编码层（VCL,VideoCodingLayer）和网络提取层（NAL,NetworkAbstractionLayer）。VCL数据即编码处理的输出，它表示被压缩编码后的视频数据序列。在VCL数据传输或存储之前，这些编码的VCL数据，先被映射或封装进NAL单元中。每个NAL单元包括一个原始字节序列负荷（RBSP,RawByteSequencePayload）、一组对应于视频编码的NAL头信息。RBSP的基本结构是：在原始编码数据的后面填加了结尾比特。一个bit“1

4、”若干比特“0”，以便字节对齐。NAL头„„RBSPNAL头RBSPNAL头RBSP„„图1NAL单元序列3.H.264传输H.264的编码视频序列包括一系列的NAL单元，每个NAL单元包含一个RBSP，见表1。编码片（包括数据分割片IDR片）和序列RBSP结束符被定义为VCLNAL单元，其余为NAL单元。典型的RBSP单元序列如图2所示。每个单元都按独立的NAL单元传送。单元的信息头（一个字节）定义了RBSP单元的类型，NAL单元的其余部分为RBSP数据。SPSP片SEIPPSI片图像定界符P片图2RBSP

5、序列举例RBSP类型描述参数集PS序列的全局，如图像尺寸、视频格式等增强信息SEI视频序列解码的增强信息图像定界符PD视频图像的边界编码片片的头信息和数据数据分割DP片层的数据，用于错误恢复解码序列结束符表明下一图像为IDR图像流结束符表明该流中已没有图像填充数据哑元数据，用于填充字节表1RBSP描述例子： AnyChat音视频互动开发平台（SDK）是一套跨平台的即时通讯解决方案，基于先进的H.264视频编码标准、AAC音频编码标准与P2P技术，整合了佰锐科技在音视频编码、多媒体通讯领域领先的开发技术和丰富的

6、产品经验而设计的高质量、宽适应性、分布式、模块化的网络音视频互动平台（支持Windows、Mobile、Linux、Android等平台）。4.H.264码流结构图起始码NalUnit„„RTPPacket„„层二：NALUnit层一：A.Annexb格式B.RTP格式NALUHeaderNALU主体层三：SliceSliceHeaderSliceData层四：SliceDataflagsMacroblockLayerMacroblockLayer„„层五：PCM类mb_typePCMDatamb_typeS

7、ub_mb_pred或mb_predResidualData其他宏块类型层六：ResidualResidualBlock图3H.264码流分层结构起始码：如果NALU对应的Slice为一帧的开始，则用4字节表示，即0x00000001；否则用3字节表示，0x000001。NALHeader：forbidden_bit，nal_reference_bit（优先级），nal_unit_type（类型）。脱壳操作：为了使NALU主体不包括起始码，在编码时每遇到两个字节（连续）的0，就插入一字节0x03，以和起始码相

8、区别。解码时，则将相应的0x03删除掉。NALU类型：Nal_unit_typeNAL类型C0未使用1不分区、非IDR图像的片2，3，42片分区A23片分区B34片分区C45IDR图像中的片2，36补充增强信息单元(SEI)57序列参数集08图像参数集19分界符610序列结束711码流结束812填充913~23保留24~31未使用表2nal_unit_type语义sub_mb_pred和mb_pre