2019综合实训报告

《2019综合实训报告》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、综合实训报告　　XXXXX学院　　专业　　项目名称：　　QCAP音视频采集　　系　　别：　　计算机科学与技术系　　专业班级：　　学姓　　号：　　名：　　　　指导教师：　　　　20XX年11月20日　　专业综合实训总结报告　　1.项目概述　　实现音视频的采集系统，使用创世之星的高清会议摄像头以及MPB710图像采集卡实时获取视频数据，以及获取麦克风的音频数据。　　2.项目构思/设计　　1、拿到创世之星的摄像头以及MPB710采集卡，这个摄像头是创世之星公司开发的一款高清会议摄像头，可以以获取会议的高清视频数据，于会议肯定是需要音频的，但是在这个摄像头中并未发现麦克风，所以我们准

2、备先使用USB麦克风，用来获取实时的音频数据。　　2、摄像头链接上MPB710采集卡，然后采集卡连接到电脑上进行开发。当然，USB的麦克风也一样连接到USB上即可。　　3、此摄像头采集卡最后获取到的视频数据是YUY2格式的视频数据，若使用FFMPEG进行H264编码，于我们工作的局限性，我们需要将YUY2格式的视频数据转换为YUV420P的视频数据，然后再使用FFMPEG进行H264编码。　　4、编码过程中需注意，原YUY2数据的完整性。于需要做一个转换，所以在转换过后也需要确认转换之后的数据是否与原数据播放出来的画面是一样的，首先保证了转换的成功，后面编码才不会出错，否则，

3、就算成功编码了，播放出来的画面也就不正常了。5、将编码好的帧写入本地文件，或者存储在内存中，只要保证格式正确即可。　　6、使用麦克风获取音频数据，获取到的原始音频数据是PCM格式的音频数据，原始数据非常占内存，若不编码则太耗资源，无论是存储在硬盘上，还是在传输过程中带宽的消耗，都是一个巨大的资源消耗。所以需要编码之后，达到压缩数据的目的。　　7、PCM数据编码，可以使用FFMPEG选择AAC编码，编码压缩率在一般在18：1，也有一些资料说是20：1。无论是哪一个，都是一个巨大的资源优化。8、最后保存视频编码数据H264文件，以及音频编码数据AAC文件。　　3.项目实施　　1、

4、于我们对于创世之星公司的SDK不熟悉，所以我们用了一周的时间来学习SDK中QCAP封装的代码的使用方法，以及各个参数的使用。在这段时间里面我们学习了QCAP的使用流程。　　1)、使用QCAP_CREATE建立资源获取装置资源。　　2)、选择QCAP_SET_VIDEO_INPUT、QCAP_SET_VIDEO_DEINTERLACE、QCAP_SET_VIDEO_BRIGHTNESS、QCAP_SET_AUDIO_VOLUME设定输入音视频装置的属性。　　3)、使用QCAP_RUN开始获取音视频数据的获取。　　4)、选择QCAP_SNAPSHOT_BMP、QCAP_SNAPS

5、HOT_JPG抓取图像。5)、选择QCAP_SET_VIDEO_RECORD_PROPERTY、　　QCAP_SET_AUDIO_RECORD_PROPERTY、QCAP_START_RECORD进行开始录音。　　6)、使用QCAP_STOP_RECORD停止录影。7)、使用QCAP_STOP停止音视频数据的获取。8)、使用QCAP_DESTROY移除获取卡装置的资源。　　2、安装摄像头采集卡的驱动程序，只有安装了驱动程序才可以正常使用。配置VS20XX的项目属性等，安装动态库，配置FFMPEG。3、测试摄像头、采集卡、麦克风等硬件是否正常。　　4、YUV数据格式有两类布局有

6、两类布局：packed和planner，packed的方式是把相邻几个像素打包起来，存储在一个DWORD里面。Planner方式则是将Y分量与UV分量完全分开存储。YUY2是packed方式存储，水平方向两个像素存储在一个DWORD里。并且UV采样率只有Y的一半。　　5、摄像头获取到的裸流是YUY2格式数据，也就是水平方向两个像素存储在一个DWORF里面，UV采样率只有Y的一半，使用FFMPEG中SWS_SCALE将YUY2格式的数据安装相应的封装样式转换为YUV420P格式。　　6、拿到YUV420P格式的文件之后，就可以使用FFMPEG对这个庞大的数据格式的数据进行编码，

7、其实编码也就是一个压缩的过程。可以提供11个等级、7个类别的子协议格式，其中等级定义是对外部环境进行限定，例如带宽需求、内存需求、网络性能等等。等级越高，带宽要求就越高，视频质量也越高。类别定义则是针对特定应用，定义编码器所使用的特性子集，并规范不同应用环境中的编码器复杂程度。与其他编码技术相比，在同等质量下，采用技术压缩后的数据只有MPEG2的八分之一，MPEG4的三分之一。所以在视频压缩编码上是相当不错的一个选择。现在已成为主流。　　7、使用USB麦克风获取会议的音频数据，麦克风获取到的原始音频数据