【原创于.com】VR直播是2016年VR行业的一大热点，无论是用户还是从业者都希望能够缓解VR内容不足的问题。然而，目前VR直播还面临诸多问题。系统实施难度较大，用户体验不佳。从系统实现的角度，需要对拍摄、编码压缩、网络传输播放等各个环节进行设计和优化。从用户体验的角度来看，需要在临场感、沉浸感和交互性三个方面共同发力，才能为用户提供合格的VR直播。【讲师简介】任福鑫，RGB联合创始人兼CTO。中科院计算所博士，互联网创业元老。在数据挖掘、推荐系统、游戏、虚拟现实等领域拥有多年的研发经验。2015年，合资成立RGBVR团队，致力于VR视频点播和直播产品的研发和关键技术研究，推出了国内首款全功能VR视频播放器——小花看看，以及国内首家3DVR秀直播平台——小花秀，有望向行业开发者开放直播服务。VR直播蓬勃发展据相关咨询公司的相关数据报告，2016年VR市场规模有望达到56亿，到2020年将达到556亿，增长近10倍。网络直播，截至2015年底，已有200多个平台，400万在线用户。今年上半年移动直播普及后，直播平台数量保守估计为400家，在线用户数也得到大幅刷新。比如papi酱的上线首发就宣布同时在线人数为2000万。VR市场和VR技术预计会很高。它是一项新技术，一项黑科技。VR直播是一种非常重要的大众娱乐内容形式。通过网络直播交流、交友、获取信息已经成为一种趋势。VR直播的优势之一就是可以给你带来身临其境的体验，成为一种非常重要的内容消费形式。VR直播的挑战无论是开发者还是硬件厂商，都会面临一件苦恼的事情：做了头盔，搭建了平台，买了很多版权，内容也很多，但消费者只是不要买它。他们号称拥有400、10000注册用户，但实际上日活跃用户只有10000到20000。这时，一些问题浮出水面：适合VR的内容形式和表现方式有哪些？如何拍出高质量的VR视频？如何分发和存储高分辨率、高码率的VR视频？如何呈现和互动？VR直播流程VR直播流程和普通直播流程非常相似，但是要达到身临其境的感觉，头盔需要达到4K甚至更高的分辨率，所以对各个方面的要求整个过程都增加了。是时候从头到尾改变了。合格的拍摄设备、高效的视频处理流程、足够广的网络传输、舒适的头显设备、精心打造的直播应用，都是VR直播的重要环节。1.VR相机如上图所示，从左到右依次为360度相机、180度3D相机、360度3D相机。360度数相机的特点是可以覆盖360度角，采集图像，进行异构后续处理。180度3D摄像头虽然是180度，牺牲了一半的空间，但它具有3D功能，可以让用户感受到景深，带来体验上的升级。360degree3D摄像头是比较先进的设备，基本上可以把整个场景包围起来，有立体的效果。不管是什么相机，都需要解决几个问题：既然有多个镜头，多个传感器协同工作，首先，多个镜头需要覆盖你想覆盖的角度，360度或者180度，需要同步多个传感器，同时开始拍摄，以便后期进行更好的拼接。另外，颜色、白平衡等各种参数需要保持一致，以方便后续处理。2、视频处理1）首先是拼接：将多个镜头拍摄的图像经过亮度和颜色调整、对齐、畸变校正、投影到球面等一系列处理后，合成为一幅完整的图像。拼接的核心是许多从不同角度拍摄的照片之间会有重叠。需要找一个合适的位置把它们叠在一起。如何找到这个职位？使用最多的方法是基于图像特征控制点的方法，根据图像的灰度变化特征，找到灰度变化差异最小的块，将它们叠加在一起。基于图像特征控制点，这样拼接完成后，拼接出来的效果看不到整体的接缝，可以找到一个点来匹配，但是仔细看还是可以找到的，还是有两张图有不一致的地方，不然接缝处会模糊。因为两个镜头从不同角度拍摄的图像是同一物体的不同侧面，所以实际上没有办法将它们完美拼接在一起。这种方法无法实现完美的图像输出。很多线下视频之所以看起来没有任何拼接的痕迹，主要是因为做了很多后期制作，需要大量的人力逐帧拼接，而真正做起来却没有机会时间。另一种拼接方法是基于机器视觉的光流光流法。大致原理是利用光流法计算图片中两个微小变化之间的主要点之间的对应关系，以及对点之间的对应关系求解的过程。一旦找到两张图片中同一点的不同位置，就可以计算出视差和深度，这样就可以借助这个深度来做差值，然后就可以生成360度数的3D图像了.2）投影变换目前VR行业最常用的投影方式是Equirectangularprojection。可以认为一个球体沿着某条子午线被撕开，在一个平面上展开。平铺过程中，赤道线的长度是恒定的，两极就是两点，尤其是在纬度较高，面积较小的情况下。小，平铺到球面时需要撕开，多个摄像头之间的画面还是连续的。虽然进行了拉深，但它们仍然是连续的，便于拍摄视频时进行监控。位置好不好，还是可以从图片上看有没有绷带，非常方便后期处理。但是有一个很大的缺点，就是浪费了很多存储空间，在极点处做了大量的拉取，图像面积很小，但是存储这部分需要很大的面积。比如南极实际面积应该是1400万平方公里，而非洲是4000万平方公里。从这张地图上可以清楚地看到，南极洲比非洲大得多，那些存储都被浪费了。CylindricalEqual-area圆柱等积投影是一种改进的方法。由于极点附近的区域实际上很小，因此在投影变换时应将其缩小。在y×sinφ中，越靠近极点，存储面积越小。从这张图中我们可以看出，南极洲的面积被压缩的非常小，在两极形成了一条线。做一个简单的比较，等距投影和圆柱等积投影在靠近极点的时候，从正方形网格可以清楚的看出。当它们靠近中心时，可以从红色框内绘制的部分进行比较。您还可以在下面的示意图中看到它。出来了，圆柱等积投影的清晰度会比等距投影高很多，这是在同样的尺寸和同样的存储空间的限制下。初步计算在10度左右可以提高50%的清晰度。CubemapcubemapprojectionCubemap在计算机图形学中应用很广泛，比如unity中的天空盒，反射等应用都是用cubemap的方式来完成的。优点是每个面没有几何变形，每个面的像素点分布均匀，投影非常方便。从球面投影到Cube贴图操作起来很方便，反投影回来也很方便。现在的视频编码时间限制是考虑到运动物体之间的关系。如果没有几何变形，可以很好地利用这种关系，可以降低存储压缩。像素分布均匀，在监控的时候可以看得很清楚，因为没有失真，表演者或这些物体的真实情况可以看得很清楚。可以节省25%的像素存储空间。3）编码将视频流拼接在一起，投影好，分发时编码，否则视频量太大分发不了。现在常用的编码还是H264。一般4K画质的VR视频264编码码率大于10M。有必要在编码和定义之间找到一个合适的点。理论上，它可以是几兆字节。再小也很容易造成视频不清晰。265已经用在了很多存储上，包括点播视频，因为现在很多电视盒子都有265硬解功能，现在只有旗舰机才有4K265硬解，很多手机都不支持。该框已受支持。尽快在直播中使用265可以节省30%-50%的带宽信号。3、网络传输编码后的视频需要在网络上进行分发，要解决的问题是上下行。需要注意的问题包括：最小化上行码率，使用云端转码生成多码率视频，根据客户情况动态调整下行码率。4、用户在直播应用中接收到云端分发的视频流后，需要在直播应用中做几件事。首先是营造强烈的沉浸感，这是VR的核心。二是存在感强。三是便捷的交互方式。此外，还有高性能解码播放、适配各种手机和头戴显示设备、低延迟、秒速、音视频一致等主要方式。沉浸感包括包围整个空间、大于人眼FOV的直播画面、等尺度还原、增强代入感的头像增强等。提升临场感主要靠3D技术。语音聊天、送礼等都是更便捷的交互方式。5、头戴显示设备头戴显示设备最流行的类型是移动头戴显示设备，一种是Cardboard，一种是GeraVR，还有一种是一体机。指标参数方面：分辨率要达到2K，算力需要达到骁龙820，因为对CPU运算和视频解码要求比较高，解码能力需要4K硬解码。系统和交互主要是输入。我比较看好Daydream的输入。小手柄的设计很好，里面有陀螺仪，很多按键设计的很好。其他要求主要包括低延迟、足够大的FOV、无畸变、无色散。VR直播的发展趋势以上介绍只是VR直播最基本的形式。目前很多用户在观看的时候都希望可以自由移动，从不同的角度观看。未来VR直播一定会支持这一点，用3D场景真实还原真实环境，提供更自然直接的交互方式。Microsoft和ReplayTechnologies的FreeD在这些方面取得了一些成果。甚至像intel前段时间发布的ProjectAlloy宣传片一样，与环境有真实的互动。本文由任福鑫于2016年8月在WOT2016移动互联网技术峰会VR技术专场《电商新趋势下的数据分析实践与思考》主题演讲中编译。WOT2016大数据峰会将于2016年11月25-26日在北京JW万豪酒店举行。届时，数十位大数据领域的一线专家和数据技术先驱将齐聚现场，聚焦机器在学习、实时计算、系统架构、NoSQL技术实践等前沿技术话题进行深入交流和探讨的同时，分享大数据领域的最新实践和最热门的行业应用。更多WOT2016大数据技术峰会信息，请访问大会官网：http://wot.51cto.com/2016bigdata/【原创稿件，合作网站转载请注明原作者和出处为.com】
