2022年被称为“云演出”元年。从亿万人涌入周杰伦线上演唱会，到westlife为中国粉丝定制线上演唱会刷屏朋友圈。“云表演”瞬间将人们从疫情阴霾中拉到人头攒动的现场。人们在追忆青春和往事的同时，也惊叹于线上演出带来的视听盛宴。过去，短信和网站是与明星互动的唯一方式；后来，随着直播的兴起，网络为爱豆打call拉近了粉丝与明星之间的距离，但在延迟时间和卡顿频率上并不尽如人意。比如在体育赛事直播中，经常会出现赛点卡顿的现象。当它恢复正常时，它已经错过了精彩的时刻；而现在，随着直播技术的优化升级，这些都发生了根本性的变化。交互和流畅的视频已经成为标准配置。而直播行业高速发展的背后，也是音视频厂商不断用技术和服务赋能，从而带动行业向上发展的一个缩影。疫情之下，出行受限，线上演出、线上办公、线上招聘、直播带货成为常态；此外，在Metaverse概念下，VR、AR领域再次兴起；再加上短视频平台的强劲增长趋势。正在探索越来越多的应用场景。据IDC发布的《中国视频云市场跟踪(2021上半年)》，2021年上半年中国视频云市场规模将达到43.7亿美元，同比增长38.7%。毋庸置疑，音视频赛道正在迎来前所未有的发展机遇。然而，新的机遇也对应着新的挑战。站在音视频赛道的最前沿，谁会是下一个破局者？1872年，英国摄影师麦克布里奇为了验证马在奔跑时是否腾空而用24台照相机连续拍摄了24张照片，从而创造了人。历史上第一个“视频”。1877年，著名发明家爱迪生在他的“圆筒留声机”上录制了自己朗读的《玛丽有只小羊羔》歌词。这短短几秒钟的声音成为了人类历史上的第一个音频。由此，人类正式进入了音视频时代。随着技术的变革，音像已经从胶片到CD，再到手机、电脑等移动设备，携带方式也在不断变化。进入21世纪后，短视频业务的爆发和全民直播的兴起，将音视频的普及推向了一个新的高潮。这期间，“流量”成为了用户比较关注的一个指标。然而，互联网音视频平台及其底层技术，无论是消费者、企业还是投资者，都没有过多关注。然而，新冠疫情的爆发打破了这一固有局面。受疫情催化，商业活动和人口流动受阻，导致远程协作和在线娱乐的旺盛需求瞬间释放。例如，企业线下活动被迫迁移到线上，大量企业采用远程办公模式替代线下办公模式，学校开设“云”课堂……实时交互的需求猛增。咨询公司IDC披露的数据显示，2020年，中国视频会议市场规模同比增长18.9%，达到约65.2亿元，呈现爆发式增长。此外，在线教育场景的市场规模也正迎来划时代的增长态势。相关数据显示，2020年中国实时音视频教育市场规模较2019年同比增长46.9%，达到47亿元。音视频的应用越来越广泛。这反过来又刺激了市场规模的快速增长。具体数据显示，2020年中国音视频解决方案市场规模将超过400亿，年增长率超过55.1%。在技??术创新和市场环境的双重作用下，音视频已经与互联网的“煤、水、电”一样重要，逐渐成为互联网行业的底层新基建之一。然而，随着音视频行业的蓬勃发展，音视频系统在各个应用场景的渗透率接近饱和，加之用户对极致体验的追求，使得各个平台对技术的需求更加多元化。水平，以及底层计算力所面临的挑战也越来越大。以直播为例。随着大数据、云计算等新兴技术的兴起，以及5G等通信技术的快速发展，直播上云成为趋势。如何将音视频系统无障碍接入云平台，成为新的需求。其次，随着各类高清视听设备的加速普及，需要技术方案更快响应更高清晰度、更低时延的视频编解码和转码。为了应对1080P、2K甚至4K视频下音视频数据流的不断“膨胀”。此外，当前直播生态化已成大势所趋，需要对接电商、商务等更多服务平台。这对承载音视频能力的底层基础设施提出了更高的要求。配电方案、更好的数据存储性能和更强的网络吞吐量等。此外，目前AI技术不断赋能直播，如产品推荐、实时特效、趣味内容信息流、头像等，因此，音视频能力与AI技术深度融合。如何为音视频能力提供高效的AI框架和加速能力，也成为当前直播场景的新诉求。综上所述，随着新兴技术的快速发展，音视频技术需要不断升级，以支持新应用、新模式、新场景的需求。一个事实是，目前对于整个音视频赛道来说，不仅需要优化上层的软件系统，还需要在底层的硬件基础设施上想办法破局。以此为基础，才能实现真正颠覆性、创新性的音视频轨道技术升级。二是“软件优化+硬件加速”，锚定性能提升和破局的关键往往在于底层基础。2021年2月9日24:00，新年的钟声准时敲响。对于中国的普通老百姓来说，每逢过年，全家围坐在电视机前一起看春晚直播是家常便饭。不过，与以往不同的是，受疫情影响，今年春晚首次采用“云直播”形式，需要对高并发视频流进行处理，上传视频录制到云服务器，处理后分发给大量用户。用户终端。基于此，在直播场景下，如何在云端实现高效转码、降低延迟、提升画质成为各大云厂商面临的挑战。需要不断优化底层音视频架构，对自身平台进行技术升级。以金山云为例，为提升云转码性能，在提升画质、降低带宽压力的同时实现更高的性能密度，其为“极智高清”云服务器配备了英特尔?至强?处理器。其中，处理器根据公有云应用负载特点定制优化，提供多达32个物理核心，运行频率达到2.6GHz。在单核性能和核数方面均实现了显着提升，为“极智高清”系统云端转码性能的提升打下了坚实的基础。此外，极智高清的应用场景对时延有严格的要求，因此金山云采用Intel?AVX-512对卷积的过载进行优化。与传统的卷积实现相比，该方法具有无需扩展源图像、无需填充滤波器、无需传输整个滤波器缓冲区、无需旋转源图像/滤波器/输出等优点.,可以有效减少在线图像处理延迟和带宽问题。在Intel?AVX-512指令集的支持下，金山云ERJND模组可实现48-103倍的性能提升。此外，英特尔?IntegratedPerformanceElements还为新的解决方案提供性能优化。英特尔?IPP可以在一次函数调用中快速实现离散余弦变换(DCT)，大大简化了编写代码量，同时提高了计算效率。通过使用英特尔?IPP库函数，优化算法以最小化内存占用，优化英特尔?AVX-512指令集，金山云在DCT计算等方面实现了约3倍的性能提升。优化前后DCT性能对比此外，金山云还依托英特尔?至强?处理器中集成的英特尔?深度学习加速（Intel?DLBoost）技术，将模型转换为FP32数值精度的“极智HD》深度学习应用使用VNNI指令集优化成为INT8数值精度。使用INT8等较低精度的值可以更好地利用高速缓存，提高内存数据传输效率，减少带宽瓶颈，从而可以更充分地利用计算和存储资源并降低系统功耗。这意味着在相同资源的支持下，INT8可以为深度学习推理带来更多的每秒运算次数（OperationsPerSecond，OPS）。这样一来，金山云就可以在精度满足要求的前提下，大幅提升深度学习的性能。借助英特尔软硬件产品和技术，金山云视频解决方案实现了大幅节省带宽、提升视频体验、提升画质、降低时延等诸多优势。英特尔的硬件基础设施就像一个“性能加速器”。通过英特尔?至强?可扩展处理器、英特尔?FPGA产品、英特尔?傲腾?持久内存等硬件产品组合，英特尔?傲腾?持久内存提供多种基于音视频的创新解决方案强大的计算、存储和网络处理能力能力。该软件更像是一个“系统优化器”，利用完整的软件栈来加速音视频能力在不同应用场景下的表现。在软硬件结合下，英特尔为各种平台提供基于云端或数据中心的音视频处理能力，专业高效的编解码/转码能力，赋能云服务商为用户带来更流畅、更高清、更流畅的体验。更多互动体验。更简单、更实惠的视听体验。同时，也让云厂商能够更有效地推动系统优化，降低运营成本。最终实现了“1+1>2”的协同效应。三大新场景衍生新价值，走向产业拐点新场景下，音视频行业的价值被重新定义。随着音视频产品和技术的升级迭代，不断推动新模式、新业态的发展。同时，也为新的应用场景带来了更多的想象空间。2021年下半年，元界概念火爆出圈，获得资本圈高度认可。其中，沉浸式、交互性、实时性的音视频无疑成为了元界重要的呈现形式之一。短期内，元界的火爆带动了音视频VR技术需求的释放，实现了音视频解决方案市场的小规模增长。但从长远发展来看，元界更像是音视频赛道下新应用场景的缩影。随着音视频技术的不断迭代升级，英特尔为元界的应用场景提供了充足的“养分”。目前，在与元界有很强技术重叠的云游戏场景中，快速增长的市场规模和不断丰富的游戏种类给云游戏平台带来了更多的挑战，需要强大的计算能力和图形处理能力。为了提供低时延、高画质的极致体验，还需要选择性价比更高的软硬件产品来搭建基础能力平台。作为智能终端厂商的持续创新者，OPPO结合实际业务和基础设施推出了英特尔?服务器GPU、英特尔?至强?可扩展处理器和英特尔?安卓云游戏软件栈（ACGSS）软件栈，OPPO云游戏平台拥有实现了显着的性能提升，在保证用户流畅稳定的游戏体验的同时，也有效控制了TCO。从XPU硬件战略到OPPO云游戏平台的开放软件栈，英特尔采用英特尔?至强?可扩展处理器、英特尔?FPGA产品、英特尔?傲腾?持久内存、英特尔?以太网网络适配器、英特尔?视觉云媒体分析加速卡等硬件产品，为基于音视频能力的各种场景创新解决方案提供强大的计算、存储和网络处理能力；在软件优化加速方面，Intel的MediaSDK、SVT、Intel?oneAPI等，都可以在不同的应用场景下以完整的软件栈帮助加速音视频能力的工作性能，帮助用户快速建立一个从数据到应用的端到端整体解决方案，实现更好的硬件性能。随着音视频在元宇宙、智能家居、IoT、医疗等应用场景中的应用越来越广泛，英特尔将基于这些产品和端到端的技术，不断满足各种应用场景对音视频技术能力的需求。软硬件一体化的解决方案。充分体现灵活、可靠、高效架构的优势。不断聚焦新场景，赋能“千业”，推动音视频行业迈向动态、丰富、多维、交互的下一个拐点。目前，在AR/VR场景，英特尔与北京移动打造了全新的5GVR电竞体验；在智能语音场景，英特尔助力腾讯云小微提升实时语音合成性能……除此之外，英特尔也在不断满足更多互联网应用对音视频能力的需求。点击阅读原文，了解更多音视频创新实践案例~
