在北京时间10月29日凌晨1点的Facebook Connect 2021大会上，马克·扎克伯格宣布Facebook公司将正式更名为Meta，描绘了许多虚拟宇宙场景，体现了Meta拥抱虚拟宇宙的决心。
我们注意到，在近两个小时的Keynote环节中，扎克伯格提到了一款将于2022年推出的短焦VR一体机，代号“Project Cambria”，采用Pancake光学方案，具有彩色透视功能意味着VR设备将不再只是一个游戏机，而将成为生产力工具或效率工具。
其应用场景将拓展至办公、会议等领域，普及度也将呈数量级增长。
这一规划印证了影创此前预测的XR产品演进路线，也与我们自研算法和技术积累的方向不谋而合。
作为国内既能提供VR/AR全栈产品级算法和系统的公司，盈创多年来一直致力于光学、算法等底层技术的研发，并将这些技术公开授权给多家企业。
伙伴。
VR长期以来一直被广泛认为是一种游戏机。
Cambria的出现以及VR与AR的融合将催生很多新的应用场景，开启VR的新世界。
VR设备将成为像电脑、手机一样的生产力工具，融入我们的日常生活，成为生活和工作中不可或缺的一部分。
佩戴VR设备可以进行多地多人虚拟会议，也可以代替电脑成为我们的移动办公工具。
无论您身在何处，都可以在多个屏幕上工作；当你无聊的时候，你仍然可以足不出户与朋友一起穿越边境。
播放在线沉浸式剧本，在空间中放松身心；如果你太忙没时间去健身房，也可以来一场酣畅淋漓的VR锻炼…… （多屏办公） （虚拟会议） （日常社交）互动） （运动健身） 那么，我们来分析一下Cambria的上述功能和应用场景的实现需要哪些核心技术和算法，以及影创在这方面的累计成果。
有哪些？ 01-佩戴方法 （左为Cambria渲染模型；右为“奇极”） 产品的舒适度是影响消费者选择的重要因素。
VR设备是一种头戴式产品。
即使很多消费者更习惯追求超高清影像或者良好的沉浸感，但长时间佩戴后，脸部会受到压迫，肩膀和颈部也会受到来自头部的压力，造成不适。
和不适。
疲劳随之而来，导致体验变差，使用率大大降低。
从Cambria的预告视频中我们了解到，环形佩戴方式，科学地将电池放置在头部后方，有效分散了佩戴VR设备时面部的压力，更加符合人体工学，减少了对VR设备的需求。
问题是由于其重量较重，无法长时间佩戴。
这与我们今年1月份展示的6DoF VR公版原型机“奇几”的佩戴设计理念不谋而合。
不得不感叹“英雄所见略同”。
？重量从约400克变为约150克）。
这是因为Pancake方案采用了多镜头折叠光路，可以让VR设备的内部结构更加紧凑。
但光路的复杂性直接导致光模块加工技术难度增加，良品率控制难度高于传统光学单片菲涅尔透镜。
轻薄的光学模组和环形佩戴方式将显着提高消费者佩戴VR设备的舒适度。
Pancake的光学解决方案可以实现大视场角、出色的图像性能和超紧凑的尺寸。
毫无疑问，这三点完美契合了未来VR设备的需求。
因此，VR设备在尺寸和重量上有了新的飞跃后，可以长时间佩戴，而且移动性增强，应用场景也将更具选择性。
未来，VR设备不仅是娱乐工具，还将成为生产力工具。
影创与合作伙伴在Pancake光学方面多年的开发、设计、编程积累，可以满足多种类型屏幕和显示参数的需求。
03- Color See through （Cambria Color See through） 目前VR设备的使用空间有限，这也是行业一直在攻克的难点之一。
VR设备作为沉浸式体验设备，佩戴后无法看到现实世界。
用户在使用时经常将其取下，非常麻烦。
本次发布会上，See through功能的重大改进也是亮点之一。
从Quest 2原有的低分辨率单色透视系统升级为高清彩色透视功能。
用户可以通过打开外接彩色摄像头，看到高清、彩色、不失真、低延迟的现实世界，似乎VR与AR融合的时代正在悄然来临。
要实现高清彩色透视功能，您需要在VR耳机上安装至少2个RGB摄像头。
相机存在天然的物理延迟问题。
由于处理的信息量增加，高分辨率RGB相机的延迟会高于原始灰度相机。
为了减少高分辨率RGB相机的物理延迟，我们使用空间扭曲等一系列技术来预测和三维重建画面，通过渲染将真实世界呈现在用户面前以填充掉帧造成的图片。
丢失，从而减少因身体延误给用户带来的不适。
此外，虽然RGB相机的物理延迟高于灰度相机，但它可以识别更多颜色，因此更鲁棒。
它可以应用于更复杂的光照环境，可以更准确地识别手势跟踪和SLAM空间定位。
功能也将得到相应的完善。
当VR设备最重要的缺点之一被克服时，意味着它的移动性大大增强。
用户不再被困在一个定义好的开放环境中，也不需要经常摘下它。
相反，他们可以一键轻松地在虚拟世界和现实世界之间切换。
结合VR和AR的设备确实非常令人向往。
可以预见，未来五年高端AR眼镜将以Cambria的形式出现。
目前市场上一些昂贵的高端AR眼镜及其应用场景将被具有彩色透视功能的VR设备所取代，因为它还具有更大的视野、更好的显示效果和更低的价格，将全面取代目前的VR设备。
传统光学高端AR眼镜在教育、工业、文旅、医疗等行业的应用。
不难预见，在不久的将来，整个XR行业将会出现更大的格局变化。
04-控制器自追踪 （Cambria控制器） 正如我们上面提到的，Cambria将利用RGB摄像头实现高清彩色透视功能，让用户在佩戴VR设备时仍然可以看到以高清色彩观看现实世界。
但RGB摄像头没有灰度摄像头的滤镜，无法很好地识别红外光，这使得大多数VR设备采用的红外LED环跟踪方式无法实现。
那么，问题就变成了，当VR耳机无法追踪控制器时，控制器该去哪里呢？答案很简单，手柄是自动跟踪的。
我们猜测Cambria的新手柄采用了自跟踪模式，手柄上安装了3个不同方向的摄像头，用于视觉VIO跟踪定位。
工作原理大概是控制器端实时执行视觉VIO算法，独立求解位姿，与头显进行视觉标定。
使用RGB摄像头后，手柄可以实现360度的追踪，不再受设备传感器FOV（视野）大小的限制，让交互体验有更大的自由度。
控制器拥有自己的算力实现独立SLAM空间定位后，原本集中在VR头显上的算力负担将被分散，减少负载和功耗，头显可以设计得更轻。
另外，由于取消了红外LED灯环，耳机上的摄像头采用可见光追踪，可以适应更复杂的光照环境，提升户外场景的使用体验。
控制器很难实现自跟踪。
首先，它需要控制器上有更复杂的算法和更高计算能力的芯片。
我们长期致力于研究高性能、低成本的SLAM算法，因此我们可以轻松地在控制器上实现定位跟踪。
其次，在头部和手部没有实时接触的情况下，统一头部和手柄三点的坐标系，需要一系列的地图和物体识别技术，我们在这方面也有很强的积累。
手柄的独立性意味着未来它将不再是VR产品的固定配件，而是成为可选配件。
那么，当VR设备可以脱离手柄时，我们应该如何通过其他方式进行交互呢？我们一起往下看吧。
05-自然手势识别 （Cambria手势） 当VR设备配备RGB摄像头时，可以识别更多颜色，具有更好的鲁棒性，可以更准确地识别手部动作。
因此，自然手势识别成为VR设备交互的最佳选择。
在日常使用场景中，用户可以随时随地佩戴VR设备，无需携带手柄，通过自然手势进行一系列操作，实现真正的移动便携。
影科技一直致力于自然手势识别技术的研发。
具有鲁棒性好、功耗低、延迟低、视场大等特点，处于业界前列。
影创科技的全自由度自然手势基于30个自由度和用户个性化的手掌参数，为用户创造更加“本能”和“真实”的交互体验。
它们可以与任何手势进行交互，而不受固定姿势的限制。
虚拟物体相互交互，学习成本低。
手势识别功能的增加将提升VR和AR融合时代用户的交互体验，VR设备的移动性和实用性也将逐渐增强。
？集娱乐、办公、生活于一体的新一代通用计算平台。
当我们想足不出户玩沉浸式大型VR游戏时，我们可以拿出手柄；当我们想要工作或社交时，自然的手势是最好的互动方式。
当取代鼠标的自然手势实现后，键盘这个好搭档自然也是不可或缺的物品。
通过深度学习算法，未来VR可以将重构的虚拟键盘模型与实际物体叠加，然后跟踪并准确估计其姿态，从而实现虚拟键盘的应用。
虚拟键盘、自然手势、甚至更多虚拟配件的出现，将帮助用户实现不受空间和时间限制的工作，社交互动不言而喻。
Shadow Object Anchor System拥有从物体建模到物体跟踪的全流程体系。
对象建模操作简单，成功率高。
它还支持自建模型和在其他平台上构建的模型。
物体跟踪精度高、鲁棒性强，可实现精确的虚实叠加。
精度达到毫米级，叠加键盘自然没问题。
（影子创建虚拟键盘） 另外，未来通过摄像头，我们还可以估计整个房间拍摄的图像的深度，并融合计算出的深度点云信息，最终构建房间的完整图像。
几何描述。
最终建立虚拟空间与整个房间具体位置的对应关系，从而将数字信息永久放置在现实世界中。
07- 多任务 3D 屏幕 （Cambria 多任务 3D 屏幕） 许多人出于各种原因需要多显示器设置。
但由于物理空间限制、多显示器成本考虑等多种因素，无法实现多屏办公。
然而，在虚拟现实的支持下，我们可以进行多屏3D交互，工作、社交、看电影、游戏、音乐等，你想要的一切都可以同时完成。
最重要的是，它既没有物理空间的限制，也没有成本预算等实际考虑。
随着自然手势和虚拟键盘功能的引入，多任务3D屏幕将成为未来用户的办公选择。
无论用户身在何处，只要拥有VR设备，就可以扩展工作空间，实现办公、社交、娱乐之间的无缝切换。
21世纪，我们的生活主要依赖手机、电脑、平板电脑等电子产品。
想象一下未来。
如果将以上所有产品都压缩到一个便携设备中，会有多方便呢？ 就在今年夏天，我们发布了新系统Tesseract OS并推出了试用版，邀请了众多开发者和用户体验。
Tesseract OS采用了多任务窗口、全新Dock栏、曲面大屏等新风格，再次与Meta宣布的多任务3D屏幕不谋而合。
此外，我们还加入了ASW、PTW等多项渲染技术升级，以减少延迟和眩晕，提升用户体验。
（Tesseract OS多任务3D屏幕） 08-体积视频 （Cambria体积视频） 体积视频简单地将一系列三维模型连接在一起并让它们移动。
可以自由观看。
体积视频赋予视频体积的概念，使二维视频内容变得三维。
它利用摄像头采集到的深度、颜色等数据，通过算法将现实世界通过三维模型展现出来。
它可以在任何平台（手机、电脑、平板电脑、VR设备等）上播放，用户可以随时、从任何角度观看，即赋予用户使用6DoF观看视频的权利。
简单来说，就是实现全息成像功能。
我们可以利用VR设备在不同的空间看到三维的现实生活图像。
在疫情肆虐地球之际，全息图像的功能显得尤为重要。
在Meta发布的视频中，我们也看到了未来新的健身模式。
无论什么场合，用户面前都会有一位全息教练指导用户如何锻炼。
不仅如此，体积视频还可以应用于远程会议场景。
会议是办公室中最难以逾越的空间问题，而虚拟会议可以彻底解决空间带来的难以逾越的鸿沟。
盈创全息会议系统你一定很熟悉。
是一种全新的会议模式，可以实现远程协作和跨平台信息共享，实现多人、多地的实时沉浸式会议。
影创全息会议可以传输亚厘米级精度的实时全息实景图像，支持自然手势、手柄、语音等多种交互方式。
它还支持多种类型的虚拟数字图像。
可以说是一种科技赋能的全新办公模式。
由此可见，VR设备成为生产力工具指日可待。
？解决方案操作系统。
我相信，就像Windows之于PC、Android之于手机一样，Tesseract OS将赋能VR成为新的生产力工具。
趣里科技是影创集团输出Turn-Key解决方案的平台。
在底层算法和技术方面有着深厚的积累。
是国内唯一一家能够同时提供VR/AR全栈产品级算法和系统，并开放这些技术授权的公司。
给合作伙伴。