进入虚拟世界，只能靠耳机？不，让我们的想象力再疯狂一点。谷歌巨头给出了另一种解决方案：用3D“电话亭”代替头戴式显示器！如果你习惯了skype或zoom，当你第一次看到starline时，你会感到惊讶。谷歌去年正式公布了ProjectStarline项目。这是一个使用3D图像、高分辨率相机、定制深度传感器和突破性光场显示器的视频通话亭。这为屏幕两侧的呼叫者创造了极其逼真的体验。一年后，谷歌的全息视频聊天项目ProjectStarline将于今年晚些时候在合作伙伴办公室安装原型以完成初始测试。裸眼3DStarline是谷歌在元宇宙布局的两颗棋子之一（另一颗是AR眼镜Iris）。这个项目，谷歌已经酝酿了五年多。在2021年的I/O大会上，谷歌正式公布了超高分辨率视频聊天室ProjectStarline。以往Skype、Zoom等传统视频聊天软件无法克服这种意义上的距离感。与你聊天的人以二维平面的形式出现在你的对面。而ta的声音显然是从手机、平板或者电脑中传来的。这种“音画分离”的体验并不真实。有没有可能彻底消除这种“距离感”？谷歌问了一个问题，“你能把Zoom变成一个巨大的坐着的拱廊吗？”他们成功了。谷歌用了五年时间研发了一项黑科技——Starline3D视频通话技术。这项技术有两大优势：一是真实存在，二是不需要佩戴任何装备。一个65英寸的光场显示器，加上预先布置的十几个传感器和摄像头，就构成了这样一个聊天室。看起来效果很真实。这样一个真人的模样，是不是被摄像头和传感器捕捉到了，直接显示在了对方的显示屏上？并不真地。每个摄像头和传感器的作用是从不同角度捕捉人像，利用深度学习实时压缩，将这些数据传输到对面，在显示屏上重建成3D人像。换句话说，在这个电话亭里，你看到的是人像的“重建”。这种实时重建的人物形象，让彼此之间的感情变得无比真实。就好像和我聊天的人真的坐在我对面一样。这些收集到的数据的传输是基于WebRTC的，就像普通的视频会议一样，而谷歌独特的压缩算法使得实时传输两个方向的3D图像成为可能。通过视频聊天连接流式传输3D头像可以让Google解决眼神交流问题。在正常的视频聊天中，这一直是个麻烦事。过去，显示器上的网络摄像头导致看显示器时无法进行眼神交流，但3D虚拟形象可以弥合摄像头中心和显示器中心之间的脱节，让双方都能进行眼神交流.谷歌在配备四个NvidiaGPU（两个QuadroRTX6000和两个TitanRTX）的强大双至强工作站中处理这些数据。Starline的另一大特点是您无需佩戴任何设备。是的，你没听错，VR头显和智能眼镜都不要了！甚至，在谷歌此前发布的概念图上，摄像头和传感器被放置在一张桌子上。稍微装修一下，你甚至会有这样一种错觉：面前是你的办公桌，而你正在聊天的人就坐在办公桌对面。根据谷歌给出的技术图，这套设备包括：显示单元，包括显示器、摄像头、扬声器、麦克风、照明器和电脑，以及背光单元，包括红外背光，用作长椅。这两个单元都包含白色LED灯带，这些灯带向墙壁和天花板倾斜，以产生柔和的反射光。该显示器是一个65英寸、8K、60Hz自动立体透镜面板，可在其上生成真人大小的裸眼3D视图化身。捕获子系统由三个同步立体RGBD捕获舱组成：两个在显示器上方，一个在显示器下方的“中间墙”中。下部吊舱包括一个额外的彩色相机，可以放大拍摄对象的脸部。此外，四个单色跟踪摄像头中的两个位于显示屏上方，一个位于其余两个摄像头的两侧，捕捉眼睛、耳朵和嘴巴的高速广角图像。它的呈现方式如下图所示。pod就是上面说的RGBD采集设备。这样渲染出来的人物效果更加逼真，栩栩如生。Starline还配备了先进的音响系统。该系统采用了说话人追踪波束形成、混响抑制、WebRTC传输、说话人/听众追踪虚拟音频合成、双耳串扰消除分频组合、幅度转换、空间音频和动态波束形成等技术。在这些技术的加持下，通话中的两个人就好像在面对面交谈。去年，谷歌工程师表示该设备可以在标准办公网络上运行。看来Starline技术有望得到广泛推广。当时，谷歌没有透露有关价格的更多细节。很难想象这个7乘7英尺、六位数的浴室大小的电话亭的市场，但谷歌正在推进更多测试。别到今天还在“抱脸”，这个项目进展如何？在GoogleCloudNext2022上，谷歌CEO桑达尔·皮查伊介绍了全息视频聊天项目（ProjectStarline）取得的一些进展。谷歌表示，它将在部分合作伙伴办公室进行定期测试，包括Salesforce、WeWork、T-Mobile和HackensackMeridianHealth。WeWork和Salesforce表示他们有兴趣尝试这项技术，他们认为这项技术可以让人们之间的联系更有意义。到目前为止，ProjectStarline已经在谷歌内部进行了数千小时的测试，并且每天都在其美国办事处使用。谷歌在一份声明中表示：“如今，在美国各地的谷歌办公室都可以找到ProjectStarline的原型，员工每天都使用该技术开会。”该技术将如何在现实世界中使用以及它可能面临哪些挑战。许多人认为这很酷，但也有人质疑Starline项目最终能否成为专业人士日常生活的一部分。面对广阔的企业会议设备市场，Starline确实有一定的空间。但一些限制使Starline难以用于严肃的会议。企业会议设备通常适合围坐在桌子旁的一大群人，广泛的兼容性允许任何人使用几乎任何硬件开始会议。不过Starline只支持一个人一对一聊天，恐怕只能用来打总统电话？近日，谷歌邀请记者对Starline进行了体验测试。记者是这样描述的：“整个过程感觉比Zoom通话自然多了，对方的动作和我们的谈话都没有明显的延迟，说话就像在说话，没有任何奇怪的声音或视觉延迟。”“我会相信我真的和某人在一起，因为我正在与一个全尺寸的虚拟人进行真正的眼神交流，而不是眯着眼睛看着一个很小的缩放窗口。”Starline如此有说服力的部分原因在于，你不只是在看屏幕，而是在看屏幕前的一系列透镜，或者说透镜阵列。原理类似于全息卡，可以显示不同的内容来回摇动图像或3D效果。另一方面，Starline会跟踪您的眼睛以了解将它显示给您的图像指向何处。最后，记者得出结论：“这对一对一的人很有用谈话，尤其是在医生办公室或需要为客户服务的地方。”谷歌Starline项目的长期状态一直未知。一年前，该项目也进行了重组，谷歌将其AR/VR技术和内部研发团队Area120重组为“Labs”团队。上个月，谷歌还将Area120的员工人数减半。这表明谷歌可能不会将此类实验视为当前经济环境下的优先事项。甚至一些谷歌内部人士也不确定ProjectStarline是否仍然存在。即便如此，Starline还是令人兴奋的，这是对另一种虚拟现实的押注。人们不需要阿凡达，他们只能通过真实的自己在虚拟世界中建立联系。日前，Meta还推出了旗下最贵的高端耳机QuestPro。谷歌并没有开发出使用摄像头来追踪眼睛和面部运动的技术，就像Meta现在正在做的那样。也没有研究如何在虚拟现实中给自己的身体“加腿”，而是致力于呈现一个真人。最重要的是，不用像“抱脸鬼”一样戴在脸上，增加负担。与此同时，随着越来越多的企业试图寻找混合的未来工作方式，Starline今天可以通过2D视频聊天来填补空白。2024年，它将第一款AR耳机推向市场。事实上，谷歌在AR耳机的布局上也不甘落后。今年早些时候，两位知情人士透露，谷歌已经开始加紧研发AR头戴设备，内部代号为ProjectIris，并希望在2024年推出。而谷歌则希望在2024年推出带有Iris的Starline。最新的Iris耳机将采用谷歌最新的处理器，完全自研的Tensor芯片，同时也支持运行在安卓系统上。至于新的操作系统，也在谷歌未来的研发计划中。该AR设备使用外置摄像头将计算图形与现实世界融合，创造出比Snap和MagicLeap等现有AR眼镜更身临其境的混合现实体验。由于电力限制，谷歌将使用其数据中心远程渲染一些图形，并通过互联网连接将它们发送到AR眼镜。ProjectIris项目可以说是谷歌AR眼镜发展的一个转折点。早在2012年，谷歌就发布了一款AR眼镜原型。类似于一副滑雪镜，不需要连接外接电源。凭借一波软硬件升级，2014年成功登陆美国市场，售价1500美元。但在2015年，由于各种负面消息，被迫下架。随后，2015年，谷歌在其I/O大会上发布了一款“VR眼镜盒”。它的装置非常简单，主要由一块硬纸板和两个特制的塑料镜片组成。到了2017年，谷歌决定将AR眼镜的应用转向工业。尽管急于迎头赶上，但谷歌在构建新型AR硬件方面似乎落后于同行。此后，谷歌对AR眼镜的硬件开发保持明显的沉默，而选择专注于开发与GoogleLens、视觉搜索引擎和谷歌地图中的AR方向相关的软件功能。随着2021年元宇宙概念的爆发，不少大厂纷纷在这条赛道上展开布局。事实上，谷歌也在悄悄下自己的棋。无论是AR耳机Iris，还是全息视频通话项目Starline。小扎曾在接受采访时说：“VR的神奇之处在于，它能让你立刻相信自己在另一个地方，和那里的人在一起。”他的想法是一个全息图，Starline就是英雄看到的一样。现在，世界上最大的两家科技公司正试图改进虚拟化身，尽管方式不同：Meta正在全力推进Metaverse的概念，而谷歌则试图接管企业。聊天室和昂贵的混合现实显示器对大多数人来说既不实用也不理想，但真正流行的东西可能会发生在两者之间。参考资料：https://techcrunch.com/2022/10/13/googles-3d-video-calling-booths-project-starline-will-now-be-tested-in-the-real-world/https://www.theverge.com/2022/10/13/23400870/google-project-starline-3d-chat-booth-impressions
