2022年8月24日，淘宝造物节全新登场！为探索下一代互联网沉浸式购物体验，本届创世节除了在线下广交会展馆打造2万平米全景“未来营地”外，还推出虚拟互动空间“3DCrazy”，第一次上线可以上线。City-CreationFestivalVirtualCamp”。在3D虚拟营地中，用户可以轻量化体验高清游戏质感，以虚拟角色加入“3D人货场”世界，与玩家和3D产品互动，满足新一代消费群体的热爱，对玩和对创造的追求，以创新科技带来全新的消费体验，一起来看看3D直播虚拟阵营的体验&技术亮点：轻量化眼镜-免费3D“真游戏”喜欢一个3D游戏，客户端下载好几个G，想玩新游戏就得卸载，太占内存了！在创世祭的虚拟营地里，你可以快速加载一个裸眼3D、互动、直播，甚至高清“游戏”，买买买，你的淘宝App“一点儿也没有变大”，速度“嗖”的一声~?技术亮点：云成本的挑战Traditio最终在移动端开发3D游戏应用，往往需要在测试端集成几十上百兆的游戏引擎，需要下载几千兆的素材资源，这在淘宝APP目前是不现实的。使用云渲染可以很好的解决这个问题。借助云端强大的GPU完成高清复杂场景渲染，用户无需下载庞大的资源文件或安装任何内容。他们唯一需要的是播放实时渲染的媒体流。但这里最大的问题是云渲染机的成本。为了降低云渲染机的成本，除了云渲染，我们还实施了模型缩减、dp合并、纹理优化、视频素材分辨率降低等性能优化策略。同样在机器调度方面，结合业务场景，实现了基于时间的动态扩缩容策略，最大化机器的利用率。3D人与3D产品在3D虚拟世界中首次相遇。曾经装扮成“淘宝生活”的3D用户们，第一次“走出”自己的小家，来到创世盛典现场直播的3D虚拟营地。在这里，你可以自由跳跃、点燃篝火、观看3D商品、观看卖家直播、与玩家互动。3D人物、3D产品、3D环境相结合，给你身临其境的精彩营地探险体验。?技术亮点：人货场建设与互动人与人的互动。淘宝生活中的3D人物被放置在3D虚拟世界中，首先需要一定的资产转化和渲染成本。用户在营地跑步，这涉及到用户位置的实时同步。针对用户的实时漫游，我们采用帧同步技术，以固定的频率更新用户的位置信息。理想情况下，用户不会有卡顿的感觉，但网络拥塞难免会造成帧间抖动，相邻两个位置的同步时间如果超过一定间隔，就会造成跳转。为了弥补这个不足，我们在渲染角色的时候使用了运动补偿算法。简单来说，就是通过算法模拟，让用户位置移动的过渡更加平滑。同时，在交互数据同步方面，采用AOI网格算法，解决多人同屏数据同步问题。这样一来，3D角色在虚拟世界中的运行就会更加流畅，随心所欲。人与物的互动。用户想要在虚拟场景中自由查看3D产品的细节并不容易。我们有两种选择：一种是移动渲染，一种是云渲染。移动端渲染在淘宝也有比较成熟的解决方案。不幸的是，移动端的渲染引擎与云端的渲染引擎不一样，所以同一个产品型号不能通用。同时，还必须考虑模型的动态下载、表面缩减优化等。问题，为了避免这些弊端，我们还是选择了云渲染的方案，通过动态切换摄像头视角，实时响应用户的交互指令，从而实现旋转缩放的体验观看3D产品。1080P分辨率炫酷高清画质曾经在手机端试过页游，画面模糊得像马赛克，跑跳时掉帧。创世盛典全新3D虚拟营地，画质高清，效果流畅，舞台灯光动态追踪你是“明星”~?技术亮点：内容制作与实时传输云渲染在云端，我们使用虚幻引擎对画面进行实时渲染，结合动态镜面移动、动态舞台灯光、角色多视角、粒子效果等技术，让画面看起来更加酷炫，用户有更强的交互感。为了将高清图像传输到用户手机，我们需要综合考虑图像质量、滞后和延迟的平衡。借助淘宝和阿里云共同打造的GRTN传输网络，以及自研的编解码算法，最大程度保证画质的清晰度。交互式虚拟屏幕没有卡住。曾经你在淘宝主播的直播间，倒计时“3、2、1，开始抢！”您感受到了超低延迟尖峰带来的清爽感觉。但屏幕外的你，无法通过互动直接干预直播间主播的一举一动。在3D虚拟营地里，你可以一边跳舞一边打招呼，也可以点击商家的3D产品观看你喜欢的主播的解说。?技术亮点：全链路超低时延区别于无干扰传屏。要在交互环境中实现超低延迟的流畅体验，我们需要完成用户指令的上行，实时图像的渲染，并将渲染后的图片返回给用户手机。首先，需要综合考虑用户的机器、网络、接入点情况，动态选择距离用户最近的推送节点，从而调整云推送策略（包括定义和编码方式的选择）。其次，在传输过程中，需要采用实时带宽反馈、FEC、动态缓冲等弱网络控制策略来对抗网络抖动，使整个链路时延达到一个合理的位置，最终实现虚拟世界中的互动。确保流畅的交互体验。结语创世盛典3D虚拟营地是淘宝虚拟互动空间“3D狂城”系列的首次尝试。下一步，我们将结合云端实时渲染和XR/CG技术，实现虚拟化场景定制，支持更大规模的实时用户交互，为消费者带来更加身临其境的交互体验。
