Part01为什么要研究VR高分辨率视频播放技术？VR技术的快速发展，使得全景视频成为未来视频业务的新型载体。然而，目前业界主流终端设备大多仅支持4K全景视频播放，存在屏幕门效应明显、高码率视频卡顿等问题，导致用户转向VR。视频内容的体验还处于像素低、感知模糊的阶段。在家庭应用场景中，智能电视作为主要的显示终端，在面对全景视频处理时也存在计算能力不足、渲染效率低等问题。用户不断增长的交互需求增加了渲染质量、效率、带宽等多目标规划的难度。全景视频覆盖了360度的球面全视角，人眼看到的有效球面信息约占球面全景信息的30%（如图1所示）。4K全景视频的观看体验仅相当于55寸电视在270P的感官体验（参考图2相当），而将全景视频的全景传输到终端进行渲染会导致性能下降视频质量和带宽资源的浪费。因此，基于视频块技术和FoV技术的基于视角的传输和渲染机制应运而生。其核心思想是只对用户当前FoV内的图像进行高质量的传输和渲染，而FoV外的内容以低质量的形式呈现。渲染，从而在保证用户体验的同时降低整体数据量。图1人眼视角观看到的有效信息仅为30%左右图2全景视频等效电视分辨率参考表Part02VR高分辨率渲染技术如何解决屏幕开窗效果痛点？VR视频高分辨率渲染围绕视频分块编码、FoV渲染、视频增强等技术展开，使主流VR终端最高支持12K全景视频渲染和播放。图3为VR视频高分辨率渲染示意图。首先，采用视频分块编码技术和FoV技术降低网络带宽需求，将全景视频分割成多个高质量的FoV分块和一个低质量的全景背景流。终端播放器获取当前视角的FoV片段和全景背景流，渲染播放当前视角的优质片段内容。其次，全景视频在云端和终端端进行增强。一方面，利用深度学习的方法在云端提取多帧信息，补充当前帧的细节信息，提升视频质量。经过投影变换、分块分割、高分压缩、编码后组织为专有格式文件进行传输。另一方面，在设备端采用传统的图像处理技术对FoV内的图像进行实时增强，利用直方图均衡算法和图像锐化处理技术，充分利用GPU算力提高对比度和对比度。全景视频的清晰度。VR视频高分辨率渲染技术大大降低了对终端计算能力的要求，节省了存储资源和传输带宽，提高了终端设备的渲染效率。实现主流一体机最高支持12K超高清VR视频渲染播放，支持智能电视机顶盒播放8K以上VR视频，让低端电视机顶盒能够流畅播放高清视频。图3VR视频高分辨率渲染示意图Part038K/12KVR超高清视频如何解决传输问题？在传输方面，全景视频的超高分辨率对带宽和实时性提出了严峻的挑战。8K及以上分辨率的全景视频对视频码率和传输要求非常高。目前，市场上主流的8K/12K视频全景视频参数如图4所示。图4主流8K/12K全景视频参数在OMAF标准中，提出了两套传输方案：DASH方案和MMT（MPEG媒体传输，MPEG媒体传输）方案。在全景视频中，根据用户视角动态切换主视点流，可以去除“视点”冗余，降低带宽压力。OMAF中应用的DASH方案继承了其基本思想，通过牺牲存储空间来提高带宽利用率。该方案在DASH服务器上，为每个视图存储多个不同码率的视频流，同时根据视图传输码率较高的主视图分片流和码率较低的其他视频流客户的信息。Viewslicestreaming是一种自适应码率和视角的动态流媒体技术，其技术流程如图5所示。图5.OMAF中DASH自适应动态流媒体传输过程是基于分块和视角的思想切换，传输方案的设计与编解码方案一脉相承。例如图6所示的HEVC运动约束块集（MCTS）方法，在编码端将全景图像分成多个块，编码成不同质量的流，并根据用户的视角动态切换不同的流网络传输过程中的信息。媒体流的分辨率和码流在解码端合并成高质量主视角和低质量背景的混合图像。另外，在OMAF中，还提出了基于用户视角使用SRD（spatialrelationshipdescriptor，空间关系描述符）进行流式传输。图6同分辨率HEVC时序法流程Part04结语智能家居运营中心针对泛家庭VR业务领域，依托中国移动千兆网络优势，重点攻克VR高分辨率渲染能力。目前最高可支持12K视频的渲染，利用VR高分辨率渲染传输能力也可支持大屏机顶盒播放8K以上的VR视频，逐步推动电视机顶盒硬件升级支持8K以上分辨率的视频播放。截至目前，基于VR视频高分辨率渲染技术，已经推出12K超高清专区、云游江西、悦享周游、天空之城等多个5G+VR专区和活动，提供为数千万5G用户带来极致沉浸感。VR超高清体验。
