作者|袁晓霞黄婷单位：中国移动智能家居质量检测部实验室简介随着视频通话和直播的广泛应用，音视频产品的种类和形式也越来越多。为评估多终端软硬件的音视频能力，融合业界音视频测试标准，提出多场景端到端音视频质量评估方案，可覆盖多种端到端的音视频质量评估场景。Part01音视频质量评价体系在音视频业务场景中，不仅包括实时视频通信、视频直播、视频点播，还包括云存储、云游戏等。通过自动化音视频测试平台，评测类型分为主观评测和客观评测。结合专家打分、专家仪器和软件工具，分别提出音视频业务指标，融合PESQ、POLQA等音视频算法，融合PEVQ、NIQE等视频。算法形成一套完整的音视频质量评价体系。Part02多场景测试组网根据多场景测试需求，集成思博伦网络破坏仪Attero和音视频质量测试设备ChromaticUmetrix，构建有参考源测试环境、无参考源测试环境，以及带有SDK挂钩参考源的测试环境。其中，有参考源和无参考源的测试环境适用于竞品的横向测试。发送端采集音视频源，测试设备记录分析接收端播放音视频的场景。SDKhook有参考源测试环境，适用于音频、视频底层能力众测对比测试，通过hook方法调用音视频底层接口，将测试的指定源注入编码发送端，接收端对音视频进行解码，直接通过音视频质量设备进行解析。组网如图1所示。图1多场景端到端音视频质量评测组网Part03多场景多维网络方案基于测试统计，参考真实用户网络使用场景，如下设计了多场景、多维度的网络测试方案：无限网络：网络无限带宽，0%丢包率，0ms抖动；低带宽限制网络：1Mbps带宽限制，0%丢包率，0ms抖动；常规带宽限制网络：2Mbps带宽限制，0%丢包率，0ms抖动；light中度拥塞网络：3Mbps带宽限制，5%丢包率，50ms抖动；中度拥塞网络：2Mbps带宽限制，20%丢包率，100ms抖动；高拥塞网络：1Mbps带宽限制，35%丢包率，100msJitter；Part04Gerrit音视频质量评估模型及应用4.1音视频质量评估指标MOS（GED）：GED（GrossErrorDetection）为音视频服务质量提供基于帧的MOS评分。GED从用户感知角度分析流媒体点播、音视频通话等音视频业务的音视频流畅度。同时提供其他实用的KPI指标，量化影响音视频质量的因素，评估音视频流畅度表现、音频、音视频同步性（需结合音频评估算法）等。;MOS（NR）：基于机器学习的AI无参考音视频画质分析。无需预设音视频源，模拟人眼对音视频图像质量进行MOS评分（1分=差-5分=好），无参考检测音视频TI（TemporalInformation）时间复杂度、SI（SpatialInformation）空间复杂度、缓冲、冻结等条件，结合各种音视频图像质量MOS分数（在不同压缩比和分辨率下），给出用户感知体验（QoE）分数；帧率：音视频的帧率（Framerate）是用来衡量显示帧数的量度。一帧代表一幅静止图像，计量单位是每秒显示的帧数（FramesperSecond，缩写为FPS）；卡顿帧率：即音视频卡屏百分比，测试时识别出的音视频画面的卡顿时间/测试音视频总时长；损坏率：音视频损坏的百分比，测试时识别出的音视频图像损坏帧数/测试总音视频帧数得到；音视频同步：指音视频图像之间时间戳的一致性，度量单位为毫秒（ms）。4.2音视频质量评分方法根据以上关键指标，根据音视频流畅度和清晰度指标对实际音视频体验的影响权重，得到最接近用户真实体验的评分评价算法：单场景得分（总分10分）=音视频流畅度得分（总分5分）+音视频清晰度得分（总分5分）=MOS（GED）×20%+帧率×10%+卡顿率x10%+音视频同步x10%+MOS（NR）x30%+破损率x20%综合得分（总分：10分）=无限制网络场景得分（总分：4分）+带宽受限网络场景得分（总分：3分）+拥塞网络场景得分（总分3分）=不受限网络场景得分x40%+低带宽限制网络场景得分x15%+常规带宽限制网络场景得分x15%+轻度拥塞限制network场景得分x10%+拥塞受限网络场景MediumScorex10%+严重拥塞受限网络场景得分x10%评价算法分析：单项指标得分范围为[0,10]，8-10为优秀，6-8分很好，4-6分一般，2-4分很差，2分以下很差；音视频流畅度指标和音视频清晰度指标在单场景评分范围内为[0,5]，4-5分为优秀，3-4分为良好，2-3分为一般，1-2分积分差，低于1分为极差；综合评分区间为[0,10]，8-10分为优，6-8分4-6分一般，2-4分为差，2分以下为很差；4.3音视频质量评价模型将上述评价模型应用于自主研发产品的纵向测试与行业领先产品的对标测试数据进行比较，以下是部分测试数据统计。优化期间，对自主研发的产品进行行业领先产品的纵向对比测试和对标测试。在6个网络场景中，自研产品综合得分提升7.5分，整体质量明显提升。在与行业头部产品的对标测试中，公司自研产品在各网络场景中的排名，从2020年的第5位上升到2021年的第2位。Part05结语在高质量发展的背景下，着眼于服务质量和用户体验是音视频产品测试发展的动力之一。针对多场景端到端音视频测试技术薄弱、评价体系单一的问题，提出了多场景、多维度、高可靠的音视频质量评价体系。借助完备的评测体系，可以准确评估被测产品的音视频质量，最终得分更接近真实的用户体验，推动音视频能力技术的快速提升。
