张琰彬：视频质量自动化测试还有很长的路要走.doc

《张琰彬：视频质量自动化测试还有很长的路要走.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、张琰彬：视频质量自动化测试还有很长的路要走　　对于大部分海量视频平台和需要持续交付视频服务的平台而言，采取视频自动化测试是唯一可行的选择。在WebRTCon2018期间，英特尔Intel®CollaborationSuiteforWebRTC（面向WebRTC的英特尔®协同通信开发套件）客户端测试架构负责人张琰彬接受了LiveVideoStack的采访，详细阐述了视频视频质量自动化测试的难点及应对方案。　　张琰彬：视频质量自动化测试还有很长的路要走　　对于大部分海量视频平台和需要持续交付视频服务的平台而言，采取视频自动化测试是唯一可行的选择。在WebR

2、TCon2018期间，英特尔Intel®CollaborationSuiteforWebRTC（面向WebRTC的英特尔®协同通信开发套件）客户端测试架构负责人张琰彬接受了LiveVideoStack的采访，详细阐述了视频视频质量自动化测试的难点及应对方案。　　　　LiveVideoStack：琰彬你好，音视频服务交付涉及很多环节，从音视频采集、处理、传输、服务器处理，再通过网络分发出去并在客户端上显示，这么长的链条如何自动化的分析和定位问题呢？难点分别有哪些？　　张琰彬：我们要自动化首先要保证的就是测试结果的可重复性，从第一个点音视频采集来说，我们采

3、取了固定视频代替随机视频的方式来确保视频的固定，这个中间又出现了第二个问题就是怎么定位视频帧，我们需要定位发送和接收视频帧才能计算出精确的延时。此外，比如说现在通常用到的有参考评估相关视频质量标准PSNR、SSIM、VMAF都依赖发送接收视频序列定位等问题。　　问题中说的处理传输和服务器处理，分发到客户端这个几个点，这其实是一个完整的音视频传输通道的实现，我们做评估系统的话一定是建立在现有的音视频传输通道上的，所以我们如何建立现有传输通道的兼容模块，如何兼容现有传输通道但是又不能影响现有通道的性能是我们第三个要考虑的问题。　　第四个问题是网络模拟，因为

4、我们通常说的各种视频问题，可能出现问题的有几个地方，一是发送方的处理，视频采集和有损编码，二是服务器处理模块，特别是视频会议模式，服务器可能会对视频做编解码、转码、混流等。三是发送接收方中间的网络状态，我们需要建立一个精确的网络模拟模型，包括各种网络参数，比如丢包和各种丢包方式，比如说随机丢包，固定丢包，突发丢包等等。除此之外还有延时、抖动等都有各种精细分类，再就是如何精确的复现客户实际网络，比如不同时段的4G网络状态。　　上述这些问题解决之后，我们还需要解决的难点和重点就是视频自动评估，评估标准和评估方法的选择，我们需要选择哪些评估方法，有视频帧相关

5、的，有参考评估，无参考评估，还有描述当前场景的网络因子，比如说端对端延时、实际传输带宽、视频抖动等，以便于提供足够多的场景复现和结果量化数据。　　LiveVideoStack：视频质量评估分主观测试和客观测试，实现持续的自动化测试恐怕只能采用客观测试的方法吧？　　张琰彬：是的，要做全自动化，就意味着任何数据必须具备可重复性、量化的特点，这里我们可以先讲解一下主观测试和客观测试。关于视频质量评估本身，业界通常将评估方法分为两种类别，一个叫做主观评估，一种叫做客观评估。　　主观评估，顾名思义就是人参与的人工评估，视频主观质量评价就是选择一批非专家类型的受测

6、者，让他们参加一些培训，至少是阅读一些评估规范和标准比如说ITU-RBT.500等，然后在一个特定的受控环境中，连续观看一系列的测试序列大约10至30分钟，然后采用不同方法让他们对视频序列的质量进行评分，最后求得平均意见分(MeanOpinionScore，MOS)，并对所得数据进行分析。测试环境中的受控因素包括：观看距离、观测环境、测试序列的选择、序列的显示时间间隔等。　　客观评估通过一些评估标准来量化视频质量，主要也分为两类，一类是有参考评估，另一类是无参考评估。有参考评估就是依赖原始视频和待评测视频进行对比，目前比较熟知的就是PSNR、SSIM、

7、VIF、VMAF、PEVQ等。无参考评估，在判断视频质量时不需要来自原始参考视频的任何信息，通过对失真视频空域和频域的处理分析来提取失真视频的特征，或者基于视频像素的质量模型等来得到视频质量。这种评估标准适合与线上无原始参考视频序列的无线和IP视频业务，或者输入和输出差异化的模型，比如说视频增强，视频合并等场景。　　整体来看客观和主观视频评估各有优缺点。对于主观评估，虽然可以直观反应人对视频的观感，但是需要专业培训的人员进行评估；而且随机选取人员会导致主观差异；时间和人力成本高；重复性低；数据缺乏参考性，很难做到精确计算延时，帧抖动等。对于客观评估来说

8、，可以数据量化，参考性高，可重复操作，可以精确计算时延，抖动测试，并进行自动化集成和监控等。所