音视频编解码_V1.0.pdf

《音视频编解码_V1.0.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、音视频编解码基础知识详解1、概述音视频技术主要包含以下几点：封装技术，视频压缩编码技术以及音频压缩编码技术。播放器播放一个互联网上的音视频文件，需要经过以下几个步骤：解协议，解封装，解码视音频，视音频同步。如果播放本地文件则不需要解协议，为以下几个步骤：解封装，解码视音频，视音频同步。其过程如图所示。解协议的作用，就是将流媒体协议的数据，解析为标准的相应的封装格式数据。视音频在网络上传播的时候，常常采用各种流媒体协议，例如HTTP，RTMP，或是MMS等等。这些协议在传输视音频数据的同时，也会传输一些信令数据。这些信令数据包括

2、对播放的控制（播放，暂停，停止），或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如，采用RTMP协议传输的数据，经过解协议操作后，输出FLV格式的数据。解封装的作用，就是将输入的封装格式的数据，分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多，例如MP4，MKV，RMVB，TS，FLV，AVI等等，它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如，FLV格式的数据，经过解封装操作后，输出H.264编码的视频码流和AAC编码的音频码流。解码的作用，就是将视频

3、/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含AAC，MP3，AC-3等等，视频的压缩编码标准则包含H.264，MPEG2，VC-1等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如YUV420P，RGB等等；压缩编码的音频数据输出成为非压缩的音频抽样数据，例如PCM数据。视音频同步的作用，就是根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。2、常用的基本知识2.1基本

4、概念2.1.1编解码编解码器（codec）指的是一个能够对一个信号或者一个数据流进行变换的设备或者程序。这里指的变换既包括将信号或者数据流进行编码（通常是为了传输、存储或者加密）或者提取得到一个编码流的操作，也包括为了观察或者处理从这个编码流中恢复适合观察或操作的形式的操作。编解码器经常用在视频会议和流媒体等应用中。一个编解码器不应该同编码或压缩格式或标准混淆，一种格式是一种文档（所谓标准），一种存储数据的方式，但是编解码器确实一段程序用于读或写这样的文件。实际上，有时编解码器不严谨地意指格式。编解码器编码一个数据流或者用于传

5、输、存储、加密的信号，解码一段用于回放或编辑。主要视频编码一览名称推出机构推出时间目前使用领域HEVC(H.265)MPEG/ITU-T2013研发中H.264MPEG/ITU-T2003各个领域MPEG4MPEG2001不温不火MPEG2MPEG1994数字电视VP9Google2013研发中VP8Google2008不普及VC-1MicrosoftInc.2006微软平台其结果大致是这样的：HEVC>VP9>H.264>VP8>MPEG4>H.263>MPEG2。主要音频编码一览名称推出机构推出时间目前使用领域AACMPE

6、G1997各个领域（新）AC-3DolbyInc.1992电影MP3MPEG1993各个领域（旧）WMAMicrosoftInc.1999微软平台其性能结果大致是这样的：AAC+>MP3PRO>AAC>RealAudio>WMA>MP32.1.2容器很多多媒体数据流需要同时包含音频数据和视频数据，这时通常会加入一些用于音频和视频数据同步的元数据，例如字幕。这三种数据流可能会被不同的程序，进程或者硬件处理，但是当它们传输或者存储的时候，这三种数据通常是被封装在一起的。通常这种封装是通过视频文件格式来实现的，例如常见的*.mpg,

7、*.avi,*.mov,*.mp4,*.rm,*.oggor*.tta.这些格式中有些只能使用某些编解码器，而更多可以以容器的方式使用各种编解码器。FourCC全称Four-CharacterCodes，是由4个字符（4bytes）组成，是一种独立标示视频数据流格式的四字节，在wav、avi档案之中会有一段FourCC来描述这个AVI档案，是利用何种codec来编码的。因此wav、avi大量存在等于“IDP3”的FourCC。视频是现在电脑中多媒体系统中的重要一环。为了适应储存视频的需要，人们设定了不同的视频文件格式来把视频和

8、音频放在一个文件中，以方便同时回放。视频档实际上都是一个容器里面包裹着不同的轨道，使用的容器的格式关系到视频档的可扩展性。封装格式的主要作用是把视频码流和音频码流按照一定的格式存储在一个文件中。现如今流行的封装格式如下表所示：主要封装格式一览名推出机构流支持的视频编码支持的音