当前位置: 首页 > 科技观察

扎克伯格45分钟深度访谈:揭秘未来十年VR和脑机接口的野心

时间:2023-03-17 14:05:59 科技观察

没有人想把脑袋钻掉!扎克伯格大谈脑机接口和VR/AR,高情商对抗苹果。 Facebook创始人兼首席执行官扎克伯格在最近一次采访中贡献了他迄今为止最深入的战略分析、行业洞察和对AR/VR的见解。  他不仅阐述了超低价的VR/AR硬件战略,透露了第三代和第四代QuestVR设备的新特性细节,还预测VR/AR设备的出货量将未来十年接近智能手机。  对话中,扎克伯格金句频出。例如,在谈到AR眼镜产生的热量时,说“你显然不想烫伤任何人的脸”;在谈到马斯克的Neuralink侵入式脑机接口技术时,说“我认为人们不会愿意为了使用VR/AR而把脑袋钻开”。  挺有意思的,不知道是不是对隐私和AppStore的控制有怨言,扎克伯格好像忘记了苹果叫什么,很清楚多次提到苹果是做什么的,就是不说“苹果”这个名字。  在采访中,扎克伯格还含蓄地表达了对苹果严格控制AppStore的不满,称Facebook的操作系统和芯片投资将是确保现有平台公司不会扼杀其创造力的一种方式。方式。  超有预见性的研发进展和前沿的一线洞察,尽在这位VR/AR重要人物的45分钟专访中。智世整理并完整呈现了采访内容。  本次采访的花絮如下:  1.苹果这家名不副实的公司,曾因技术差、销售贵而被“暗批”。  2。它将在今年晚些时候推出其首款智能眼镜,暂时不会提供AR体验。  3。Quest3和Quest4正在设计中,将增加眼动追踪和人脸追踪功能,可用于定制逼真的虚拟动态头像。  4。VR头戴设备Oculus2的活跃用户数将超过1000万,之后将达到千万级。  5.下一个版本的VR头显将能够捕捉用户的面部表情,基于多传感器、眼动追踪技术、机器学习等技术,实现更逼真的数字化身。  6。AR设备比VR设备更难制造。最大的技术难点在于小型化和散热。  7。我希望脑机接口技术从根本上与VR/AR输入输出方式交织在一起。  8.想要摆脱苹果、谷歌等厂商的平台限制,通过VR/AR平台构建布局,占领下一个十年的终端新高地。  9.到2030年,人们将能够使用先进的智能眼镜“传送”到其他人的家中,像面对面一样交谈。  10。VR/AR设备的隐藏优势是减少旅行或通勤时间,而智能眼镜可以帮助应对气候变化。  01.  一家社交媒体巨头,为何如此关注VR/AR?  扎克伯格:  作为社交媒体,我们帮助人们通过短信、图片和视频进行交流和互动。社交体验的“顶峰”是让用户感觉他们与另一个人在一起的能力。对于这种“存在感”,各种技术都很难很好地实现。这就是VR/AR必须提供的,所以我对此充满热情。  Facebook目前的大部分业务都是建立在别人的平台上的。我们对下一代主要计算平台(例如VR/AR)进行深度投资是有意义的。通过搭建自己的硬件平台来保证VR/AR应用的实现。  这会带来很多很棒的体验。我们不再局限于和别人打电话、玩视频,我们可以动动手指隔空发信息,和不同空间的人坐在同一个沙发上聊天,把游戏中的角色虚拟化互动对象...▲通过虚拟技术模拟与不同空间的人交流  这将对许多我们深切关心的事情产生巨大的影响,比如气候变暖。通过VR/AR技术,我们将能够实现更多的在线沉浸式交互,减少汽车和飞机的使用,让我们免于被许多通勤和琐碎的琐事拖累。  对VR/AR感到兴奋的原因有很多,我很高兴能深入研究它。  02。公司有多少人从事VR/AR?你一年花多少钱?  扎克伯格:  投资很多。  我们有很多不同的产品线正在开发中,其中一些是VR线。按照硬件开发的逻辑,你需要同时知道接下来三款产品的外观,这与每周迭代的软件开发有很大区别。Quest3和Quest4的外观设计我们已经组建了一个团队。我们研究基础技术以改善光学特性和设备性能,使设备更小、更轻且功能更丰富。  例如,我对新版本感到非常兴奋的一件事是添加了眼动追踪和面部追踪,可用于自定义逼真的动画头像。  在AR方面,我们宣布了今年将与Ray-Ban一起推出的首款智能眼镜。眼镜本身不提供AR体验,但它们有助于建立一个开发者生态系统,让该技术在未来蓬勃发展。然后经过几代人的研究,最终形成未来的AR眼镜。我们也一直在公开谈论一些脑机接口的工作。AR出现后,脑机接口将如何与AR交互?这是个有趣的问题。玩虚拟游戏时,不需要键盘,也不需要手来操作。  除了这些,还有语音和智能助手,也是其中重要的一环。脑机接口将在输入输出方式上与VR、AR的工作从根本上交织在一起。  总的来说,你可以看到我们正在做这些不同的工作,这些工作加起来是很多钱。很多是基础技术和研究,未来会开发出多种产品。这是一个很大的项目,但是我们这里不公布确切的人数和预算。  03.  个人在这份工作上花费了多少时间?  扎克伯格:  我认为这是社交体验和计算平台的未来,我非常关注它。我通常一周又一周花时间在上面,这取决于我周围发生的其他事情。显然,我有很多事情要做。  不只是CEO,对于大多数人来说,生活不仅仅是对正在发生的事情做出反应,而是努力朝着一个方向前进。  我会说,在美好的一天,我会花更多的时间在VR和AR上。当然,有几个星期我没有花时间在这上面。但是我们有一个很棒的团队在努力工作。组长博兹(安德鲁博斯沃斯AndrewBosworth饰)长期参与打造Facebook的多项业务。然后当我意识到那是我的重点领域时,我聘请了一位正在开发VR、AR消费产品的高管。  04.  你觉得Quest2怎么样?  为什么你认为VR开始起飞?市场有多大?  扎克伯格:  Quest2将成为第一款主流VR耳机,它发布后很快超越了Quest,我认为有很多原因。  是一个重大改进,更轻、更快、屏幕更好,而且便宜300美元,比Quest便宜100美元。内容生态系统和开发者生态系统也在建设中。  在过去的一年里,由于“无接触”的生活方式,我更多地使用VR与我的朋友社交。《亚利桑那阳光》、《Onward》、《人口第一》都是好游戏。  购买Quest的价值会随着时间的推移而增加,因为随着生态系统的发展会有更多的内容和更新。在过去的一年半里,我们所做的一件大事就是为Quest添加手部追踪功能,只需通过无线方式付费即可,而且效果非常好。  我一直相信,当你在VR中获得1000万活跃用户时,市场就足够大,可以回报开发者。一开始,我们投入了很多钱来补贴优秀的开发者。现在,随着我们越来越接近(1000万活跃用户),更多的开发者被生态系统所吸引。随着时间的推移,机会是巨大的。它(活跃用户数)将超过1000万。我认为它将达到数千万。就像在游戏方面一样,Xbox和PlayStation一样受欢迎。然后,让我们考虑添加一个AR应用程序。  VR和AR是同一枚硬币的两个面。戴上AR眼镜,你可以看到远方的朋友被传送到你的沙发上,一起聊天。当您关闭AR功能时,您可以使用眼镜访问VR内容。在我看来,这将是一个杀手级应用,前景是下一代计算平台(可以理解为智能终端)。  一旦我们让每个人都能买得起AR设备,它将造福数亿、数十亿人。  05。  什么时候意识到AR和VR一样重要,  更重要?  扎克伯格:  这一直是我们的理念。Oculus团队加入我们的时候,我们认为VR设备可能比AR设备更好,但现在开始做AR也很好,因为VR和AR其实是同一个生态系统。很多人想到的是AR,但你想到的是未来。只要你的手指保持滑动和触摸信息,沟通就会容易得多,你就能做很多事情。我们非常专注于AR,我们也认为VR将成为AR构建方式的重要组成部分。  我们思维的切入点是所有吸引眼球的屏幕,包括手机、电脑、电视等,人们花费大量时间,沉浸在媒体、游戏等体验中。  随着我们进入完全增强现实的时代,我认为虚拟现实的成分会比人们想象的更多。  VR技术,如显示器、芯片等,来源于智能手机技术栈的演进,产业链相对成熟。AR显然是一个不同的赛道,目前在任何消费电子产品中都没有这种技术。它可以有一块透明的屏幕,不仅可以呈现物体,还可以将物体放置在真实三维空间的各个点上,而且尺寸小到可以装下一副眼镜。  我们没有将投影仪放入眼箱的技术,AR是一条需要构建的完全不同的技术路径。我认为围绕3D和空间计算以及生态系统的发展将首先围绕VR。  当AR硬件可以搭建起来的时候,生态开发体系就比较成熟了。我一直把VR看作是AR的相互延伸,而不是只考虑AR的一面。  06.  未来要做VR和AR兼备的新终端,  团队现在面临的最大挑战是什么?  扎克伯格:  就像我说的,AR技术是完全不同的。在光学、投影仪、显示器和它们周围的小型化方面有很多基础技术的发展。开发它们的最大障碍之一是散热。  发烧很难完全避免。你显然不想烧伤任何人的脸。我们正在应对这些技术挑战。  在VR方面,我们最关心的是如何集成更多的传感器,实现更好的交互体验。运行传感器需要更多的CPU功率并产生更多的热量。我们也想让用户拥有逼真的头像,在头像上表达真实的表情,与对方进行真实的眼神交流。  需要什么?它需要眼球追踪技术和对人类表情的一定研究,才能使表情制作更加自然。构建化身(avatars)是我们投入巨资的事情。制作虚幻引擎的公司Epic刚刚发布了一个创建虚拟人头像的工具。最初,设计师需要渲染数周,但他们只需要一天。然后,我们还需要开发技术和机器学习来批量生成这些头像。  下一个版本的头像系统将于今年在我们的耳机上发布,随着时间的推移,它会变得越来越逼真。当我们期待十年后的头戴显示器时,一定希望它体积更小,佩戴头戴显示器时周围的世界也能像现实世界一样清晰生动。其背后也面临诸多挑战。  耳机分辨率现在很好,但不是视网膜分辨率。即使未来几年可以达到视网膜分辨率,但仍然存在一个问题,那就是如何利用设备上的芯片,在不产生高热量的情况下,为视网膜分辨率级别的实时场景供电?那是不可能的。显然,这个问题需要解决。  这样一来,VR面临的挑战就不同于以往手机、电脑所面临的挑战。  另外,在当前的VR中,物体基本上只能以一个焦距投射到显示器上。人眼会试图放大观看,但画面本身只是以一个焦距投射,所以看不清的东西是看不清的。这个需要解决的问题叫做“缩放”。有必要制造某种液体镜头或机械移动镜头以实现变焦。  不过,显示方面最大的挑战可能还是“高动态范围”。现在,电视在HDR成像方面正在改进,但屏幕的生动度(以尼特为单位)比你在现实世界中看到的要差一个数量级或更多。  你可能不想马上进入这样的VR世界,因为色彩、画面的生动度都不太令人满意,VR中的一切还是有些呆板。  07.声音对AR眼镜有多重要?  你在这方面做过的最有趣、最有价值的工作是什么?  扎克伯格:  要传达一种身临其境的感觉在一个地方,空间音效非常重要。  如果我们有一个Zoom会议,我基本上可以听到你的声音就在我面前。但在现实世界中,声音来自我们周围。对事物所在位置的空间意识对于我们处理世界和记忆事物的方式很重要。  在过去的一年里,我经历过很多类似的现象。我们正在做更多的视频会议,我在VR中参加了很多会议,即使是相对基本的头像,在VR中对人们周围的空间感是多么强大,即使你不能真正做到眼神接触。显然,目前视频会议的功能远不止VR。  我认为真正被低估的一件事是当你进行Zoom通话时,你有一个网格。你不觉得你有空间,是吗?如果你在我左边的网格中,那并不意味着我在你右边的网格中。我们没有共同的空间感。  当我度过一天时——有5、6或10次会议或类似的事情——所有这些都混在一起,我不觉得我和一群人在一个独特的空间里。  但我在VR中的会议可以做得更多,你实际上是坐着或站着与人围成一圈。  在虚拟现实中,如果你在我的右边,那就意味着我在你的左边,所以我们有共同的空间感。当你说话时,声音来自我的右边,这进一步证明了这一点,这实际上是你记得的,是我们大脑中的一个微妙提示。它可以帮助您更好地构建整个对话并使它感觉更真实。  08.  说说2019年收购的脑机接口公司CTRL-labs?它与VR/AR业务有什么关系?  扎克伯格:  在CTRL-labs加入我们之前,我们一直在做脑机接口类型的工作和相关研究。他们绝对是一支世界一流的球队,自从他们加入我们以来,我们一直在努力工作。  我们正在考虑如何成为VR和AR输入的一部分,它将包含所有这些不同的部分,其中一些是控制器,一些是手,一些是声音。久而久之,就会出现一个重要的方面——脑机接口。问题是,构建脑机接口的最佳方式是什么?  许多不同的策略已经被不同的人尝试过。我们早期研究的一些东西和一些大学教授正在研究的东西,是否有可能直接从大脑中的血流中提取一些信号?  通常你会戴上某种带子,这是非侵入性的。例如,是否可以在眼镜臂或Quest的表带上附加一些东西,以尝试读取您要给计算机的命令信号?  一些早期的结果看起来很有趣。一些研究人员会给一个人看照片,比如说,这是一头大象,这是一头长颈鹿,等等,他们可以查看随后的基本扫描并说,“好吧,现在想想这些动物中的一种。”然后他们可以相当准确地识别出这个人在想什么动物。  你或许可以通过这种方式获得一些信息。归根结底,我认为这种能力是有限的,因为大脑中发生的很多事情不会发生在表面上。我认为从长远来看,以这种方式阅读东西可能不会成为未来。  有没有更好的信号采集方式?ElonMusk的脑机接口公司Neuralink对脑机接口采用了侵入式的方法。我们不认为人们愿意为了使用VR/AR而钻出他们的脑袋。这种研究确实有一席之地,尤其是在假肢方面,而且这个方向的一些研究对于受伤的人来说是惊人的。我很高兴有人做到了。但归根结底,我认为这不会很快成为消费产品的一部分。  我们正在研究的基本理论是,正确的解读是大脑通过运动神经元向身体发出信号,以控制身体的不同部位。事实证明,你的运动神经元实际上具有额外的能力,这是神经可塑性的一部分。如果您的大脑受伤,您可以重新调整身体的运作方式。  所以你有一些额外的运动神经元,可以适应控制不同的东西,无论是控制手、虚拟操纵杆、虚拟键盘还是类似的东西,最终让你像拥有第三个一样,思考和就像第四只虚拟手一样,无需实际移动任何东西即可打字。  一旦我们到达那里,那将是非常疯狂的,并且有一个完整的旅程要沿着这条路走下去。  从长远来看,拥有独立的虚拟手,让您可以安静地打字而无需实际移动它们可能还很遥远。能够让人们对耳机进行一两次控制——这也可能非常强大。这是我们正在考虑的方向。  这是一个长期的研究项目。当然,这可能是我们如何提供输入和控制AR/VR设备的重要部分。  09.  是否通过开发操作系统和芯片  减少对苹果和谷歌的依赖?  扎克伯格:  是的,我们专注于从头开始构建本地操作系统并进行定制芯片工作。这些东西需要如此紧密地优化。  就像我们之前说的,如果你想使用一副看起来很普通的眼镜的所有功能,那是很难的。您不能仅仅改造计算机或移动操作系统来构建全新的输入和输出流程。  传统上,操作系统是根据它们的输入方式来定义的。对于手机来说,就是触摸;对于计算机,它是鼠标。那么他们如何输出呢?图形堆栈将完全不同。  想一想,在AR中你不会绘制屏幕上的所有像素,你只是在不同的平面上渲染某些虚拟对象。在VR中,为了达到所需的分辨率,需要做一种完全不同的显示,重点是注视点渲染。  人眼的工作原理是在专注时比分心时获得更高的分辨率。那么,我们是要渲染VR中每一帧的每个像素,还是要为此设计一个新系统?芯片和操作系统中有很多东西……你将不得不做这种低级的事情。  显然有一个方面可以确保我们设计这些系统,以便我们构建我们想要的软件体验。我当然发现它对手机有些限制。  一些应用商店有非常严格的规定。当然,有些东西我觉得可以创造更好的社交体验,但是不允许建。桌面浏览器上的整个游戏平台,基本上不允许将其带到移动设备上。  我们想确保我们可以设计下一个系统来创造我们想要的社交体验。那是高级的东西。首先要做的就是让它发挥作用。  为了做到这一点,我认为系统确实需要进行严格优化以适应社会可接受的外形尺寸,这也是AR比VR更大的问题。  10。  将如何通过销售硬件赚钱?  问:如何通过销售这些硬件来赚钱?是否像现有模型一样都是关于数据的?从软件交易中削减是Oculus当前收入分成计划的常态,此后会继续吗?  扎克伯格:  最好的方式来思考我们的商业利益这方面可能更类似于谷歌对Android的看法,他们想要创造他们想要的体验。在这一点上,谷歌可能正在从Android中赚取一些钱。但能够确保移动生态系统以他们认为好的方式发展最终非常重要。  对我来说,AR/VR是希望有一天人们能够四处走动。  以后,我觉得这种对话不应该在电话里或者Zoom上,应该是你们传送到我的沙发上,或者我传送到你身边,坐在那里。  我想要它,这样人们就可以随时随地访问世界上所有事物的完整备份目录,就像Spotify让您可以访问所有音乐的备份目录一样。  如果你可以打个响指说,“好吧,我想现在就把这个游戏放在我们面前,或者这个我想给你看一些东西,我想拉出一张地图,我不想放映给你看,让我们举起一个地球仪,把它做成我们想要的大小。”这些体验会很棒,这就是我想要建立的基础。  商业模式可能主要围绕这些体验,构建我们已经构建的应用程序,并扩展它以构建更多东西。它会如果AppStore最终有意义,那就太好了。但我认为我们的意图可能是以尽可能低的成本提供这些产品,以便每个人都可以购买。  不像这个领域的公司那样收取溢价作为商业模式,我们的核心原则之一是我们要为每个人服务。我非常关注的不仅是如何制作好的VR和AR设备,而且是如何将它变成300美元而不是1000美元。这对使其可用非常重要  我非常愿意利用应用商店等平台来降低价格,让用户更容易上手。我最担心的是,我们能不能提供这些社交体验?  如果你可以,我想我们现在在互联网上看到的是你可以建立一个非常好的企业。从我们的角度来看,这就足够了,我们正在努力将这项技术推向世界。  11.  10年后,公司的业务和收入线  可能会有很大的不同?  扎克伯格:  是的,这当然是希望。五年后,我们肯定还会有手机。当我们拿到手机时,我们并没有失去我们的电脑,我们可能只是把一些时间转移到了它们身上。  我的猜测是我们也会有一段时间的手机,我们所做的那部分工作将永远是重要的,随着时间的推移它将成为越来越多的人的主要平台,并且会有很多伟大的事情从它的事情中走出来。  如果你能提供一个从根本上更人性化的计算平台,在人与人之间创造自然的互动,那将是一个长期的梦想。  如果我们能够建立那个基础——我确实认为十年后,今天谈论的很多事情都可以在某种程度上实现——那将是非常令人兴奋的。很多这些东西将在2020年代开始出现,并且可能要到2030年代或2030年代才会真正达到全面规模。  但很难想象,当你在电话、电脑或视频聊天中与今天的系统进行交流时。  我们之前谈到了一些气候变化的重要性。人们希望以后少出行,提高出行效率,不需要花太多时间在出行或通勤上。  远程工作是一个持续的趋势,我认为这是一个非常大的经济和社会问题。现在很多人觉得他们需要搬到城市来获得好的经济机会和工作,许多城市的治理不完善,生活成本失控。  在未来,如果你有这种驱动力,你可以住在任何你想住的地方,基本上可以传送到其他任何地方工作,我认为这将是意义深远的。  12.  结语:未来十年,AR/VR设备将成为新终端  取代智能手机  根据此前分析师的预测,苹果的混合现实(MR)头戴显示器设备预计将于明年上市。推出。从这次采访来看,虽然没有明确点名苹果,但扎克伯格在沟通过程中充分体现了他对苹果的关心。  扎克伯格的言论代表了VR/AR行业领袖对行业未来发展的期待。越来越多的人将这一技术领域视为继智能手机之后的下一个计算趋势。  目前,包括苹果、Facebook、微软、谷歌在内的多家公司都争相加入AR/VR大战,力图在这片被视为下一代智能终端的高地抢占先机。通过这次对扎克伯格的专访,我们可以穿越到十年后,看看VR和AR技术如何改变了人类的生活,也可以回到技术本身,了解VR和AR最紧迫的问题和发展节奏。  未来十年,随着AR/VR技术融入可穿戴设备,新终端有望颠覆智能手机的霸主地位。