资源描述：
《网易视频云：移动端音视频应用优化之道》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、移动端音视频应用优化之道手机APP在音视频方面的应用产品,近两年呈井喷状态。观众在流畅地观看着视频画面的同时，背后其实包含了大量的技术难题。本次分享将从手机摄像头数据采集开始，把视频编码、数据传输、视频解码、画面显示整条链路中的技术难点和优化方法进行详细讲解。另外,还会对音视频开发者最关心的一些问题如直播延时、画面清晰度、手机端资源消耗等展开讨论。移动端的音视频直播，点播，之所以能大量爆发,跟下面几点因素分不开。第一,音视频直播，点播的需求一直大量存在，包括各种行业应用，比如，视频门户、娱乐直播、游戏直播，在线教育、远程医疗,远程监控，企业协作,社交应用等。那么以前为什
2、么没有全面爆发,是因为硬件条件不满足。首先，网络的带宽有限现在网速不断提升,很多都是光纤到小区，有线网络的上下行带宽已经达到要求。移动网络4G接入速度也挺快,满足了基本的视频直播带宽要求。而且网络资费也比较低，变得大众可接受。其次，智能硬件设备的大量普及,特别是大屏智能手机，平板，基本是人手一台。而且这些设备的性能也越来越强劲，4核CPU是常态，现在都是8核了，2GB内存是小意思,现在都配4GB了。硬件性能的提升解决了视频编解码的性能瓶颈，可以拿手机，平板作为PC机器使用。因此，以上几点满足视频直播的性能，带宽这些基本要求。网络费用便宜达到了大众消费级别，两者一碰撞就把
3、以前压制的视频直播，点播需求都爆发岀来了，特别是移动直播，现在的理念是随时随地玩直播。一个完整的视频直播，点播过程主要包括以下几个方面。对于直播来说,首先是音视频推流端会把数据流推送到流媒体服务器,然后在通过CDN平台进行分发，最后观众用各种播放器从CDN拉流观看。对于点播过程来说，首先内容提供商要把视频文件转码,转成符合网络传输的格式，然后把视频文件部署到点播服务器，之后会通过CDN平台进行分发，主要是支持超大并发量的访问，最后观众用各个平台的播放器从CDN拉流观看。在点播过程中有两个额外的服务，一个是转码服务，用来转码各种音视频文件。另夕—个是存储服务，用来保存大量
4、的音视频文件。不管是直播或点播服务,都会有一个视频云管理服务器,用来管理直播频道，点播文件,以及后台管理web页面。对外提供http接口，供产品的应用服务器调用。管理服务器协调推流客户端，流媒体服务器，播放器之间保证作为一个整体运行。对于移动端来说，主要涉及到推流端和播放器这两部分。其中推流端包括了音频,视频的采集，预处理，编码，打包，发送这几个模块。而播放器包括了码流接收，解码，后处理，显示这几个模块。分别讲述一下各个模块的功能和特点，音频是从麦克风采集,音视频从摄像头抓取图像，也可以抓取屏幕图片,比如游戏直播。当有混音需求时，也可以采集声卡的音频数据，然后跟麦克风的
5、声音进行混音。对于采集的音频一般先要进行降噪处理，特别是户外环境下，噪声会上傲明显。如果涉及到互动直播，有双向通话的情况,还需要对音频进行回声抑制处理防止出现回声效果。对于采集的图像可以进行一些特效滤镜处理上匕如黑白,黄昏，提亮，美颜等，这些处理非常耗费性能，一般都是需要用OpenGLES来实现。也可以进行图像叠加，比如给主播加个帽子，或者为了保护版权，加个水印图片。所有的这些操作都有实时性要求，因为后端要编码成视频流。因此，对于一般的图像处理算法，当用到视频场景下，有时很难达到性能要求,比如要处理25帧每秒，特别是移动设备，这个性能就更加难达到要求，都是需要进行一些定
6、制优化。目前主流的视频编码标准就是H.264，编码质量，性能,码率，各方面都比较好,而且使用最广泛，现在互联网最常用的就是H.264视频。对于VP8视频编码，这是Google推出的标准,是WebRTC实时视频通话主要编码标准，但是目前在网络直播，点播方面不常用。而音频的AAC标准，是用的最多的音频编码，非常流行，编码的音质也好。而speex音频标准，是一套主要针对语音的开源免费,无专利保护的音频压缩格式。也很适合网络应用，在网络应用上有着自己独特的优势，但是还不够流行，没有普遍使用。对于音视频赣来说,上行推流主要采用rtmp协议”用这个协议的延时小，但是可能会有端口上的
7、限制。如果用HLS推流，那些延时会比较大，走http协议，没有网络端口的限制。对于下行的播放来说，主要有http-flvzHLS,RTMP这几种拉流方式。其中http-flv,HLS这两种方式会在流媒体服务器上进行重新封装，以及协议转换。对于点播服务来说，播放用的主流方式是http-flv,http-mp4,his这几种，全部走http协议，比较适合网络传输。音视频流通过CDN平台分发之后，能支持超大量的访问，干万级别都没有问题的。对于播放器来说，就是一个推流的逆向过程，先接受媒体流，然后解析协议，解封装,解码音视频数据，后处理，最后显示
