当前位置: 首页 > 科技观察

皮克斯华人CG老将在深圳创业!低代码实现好莱坞大片特效

时间:2023-03-19 18:07:53 科技观察

本文经人工智能新媒体量子比特(公众号ID:QbitAI)授权转载,转载请联系出处。嘿!看行云流水的飘荡,镜面如丝般顺滑的动作,好生锈。小伙伴们是不是很好奇它是怎么拍出来的,又是哪位导演执导的呢?但事实往往令人难以置信。不是拍出来的,而是用CG技术制作的!别着急,还有更多惊喜。是连“高中生”都能hold住的那种!这是来自国产特效开发系统ZENO的力作,即将亮相SIGGRAPHASIA2021,效果惊人,甚至被大会评委评价:在视觉领域推动了新的SOTA!推新视觉SOTA!这项研究背后的团队不容小觑——由计算机图形专家张欣欣创立的ZenusTech。一位来自KAUST,还有来自UCLA的研究人员。北京大学陈宝全教授曾评价:中国CG-physics仿真领域有两个新秀,一南一北,热闹非凡。改变视觉SOTA的效果现在让我们仔细回忆一件事:我们在看大片的时候,海上的船只镜头是不是经常是特写镜头?比如这个:△《加勒比海盗3》选择片段,在特效电影中,很少有镜头给到中景或者远景。更不用说从近距离到远距离的那种了。这其中很重要的一个原因是视觉效果的模拟计算只能在有限的范围内进行:比如上图所示,目前的模拟技术只能在“有界”(bounded)三个范围内进行处理维水体运动形态计算。也就是说,如果镜头超过这个范围,就会造成我们常说的“过帮”。张欣欣团队的工作之所以受到审稿人的高度评价,是因为它解决了这个痛点:构建了迄今为止已知最大体积的大尺度海水模拟方法。它使用最有效的计算方法。也正是通过这种方式,研究人员成功地将只能在近距离产生的逼真效果转移到一片“无限”的大海中。不仅如此,它还创造了一个比3D解深得多的“深海”,为靠近海面的水体运动提供了正确的运动边界条件。那么顶级影视公司使用的技术是不是不好用呢?大家可以做个对比看看效果。与中间的参考溶液相比,左右两侧的效果可以说是肉眼可见的差距。在与更多其他方法进行对比后,可以清楚地发现,本研究的方法不仅可以得到准确的波形,还可以得到更多的水流细节。现在让我们回顾一下本文的原始特效。基于这种方法,可以看到前船产生的波浪,甚至影响后船产生的波浪形状。对于这样的效果,用张欣欣的话说:把有界变成无界,可以追求更高层次的模拟。如何实现逼真的动画?要回答这个问题,我们需要了解边界元技术。该技术通常对流体运动作势旋假设,将大尺度水体的NS方程(Navier-Stokes方程)简化为伯努利方程。这就把在三维网格上求解方程的问题变成了只需要在水体表面定义和求解拉普拉斯方程的问题。简单来说,就是把原来复杂的三维问题降到二维层面来解决。但是,与刚体相比,流体本身就是最难的场景,理论上存在很多局限性。因此,即使边界元法处理流体问题,在复杂情况下也不会通用。例如,由于积分的奇异性、控制方程的非线性以及拓扑变化的难以处理,即使是数学论文中的边界元法,通常也只能求解到峰顶开始断裂。怎么破?更少的理论,更多的工程:本研究提出的解决方案将边界元法发展成为一种稳健、独立的技术,用于模拟复杂水体的动力学。具体来说,就是将边界元技术与传统的FLIP水体模拟方法相结合。比如上面的例子,就没有3D模拟求解的问题。所有计算未知数和计算时间积分只存在于水体表面网格上。这样一来,大大减少了计算的内存或时间消耗。也正是基于这样的计算优势,该方法非常适用于大面积、大尺度、大流量的水体运动模拟。△左边是hybridBEM-FLIP的情况,右边是纯3D模拟的参考。除了技术理论研究,为了让更多人能够实现这样的特效,泽森研究人员还专门打造了特效开发系统——ZENO。该系统不仅支持大量高级编程语言特性,更大的亮点在于低代码。就像文章开头的特效一样,不用敲任何代码就可以实现!而且操作起来也极其舒服,是那种“连连看”的感觉:连ZENO里面的流体动力学、固体动力学、分子动力学求解器都是ZENO团队自己用的节点编辑器,并不是C++代码开发的。另一个长期困扰特效从业者的难题是高性能GPU代码的开发。在这一点上,ZENO也提出了自己独特的尝试(在此特别表扬@archibate、@littlemine)。它内置的脚本语言是ZFX,结合ZENO的wrangler,可以在CPU和GPU上无差别运行!此外,ZENO还提供了一系列好用的工具来帮助人们快速搭建场景。对于几何形状的CSG操作:可视化中间开发步骤:生成大量几何形状模拟操作的粒子:此外,ZENO也有完整的嵌入式计算开发工具链。同样无需代码,ZENO编辑器开发的计算图可以直接导入到C++交互项目中使用,从而处理物理计算部分:不仅如此,在移动端(安卓)也能实现高精度高性能计算!而且ZENO团队还很贴心地附上了案例和教程。有兴趣的朋友,我会在文末提一下~从皮克斯出来的CG大师,能做出如此逼真的效果,团队实力不容小觑。那么最后来说说背后的灵魂人物张鑫鑫,以及他的创业公司泽森科技。CG(ComputerGraphics)的起源可以追溯到张欣欣的高中时代。与时下常被提及的神童不同,他是个严重偏心的游戏小子。艺术和数学是他最喜欢的科目。他着迷于文艺复兴时期的艺术史,也着迷于设计和思考数学问题。至于其他课程emmm。。。如何度过这漫长的45分钟。嗯,想必在座各位都或多或少研究过。(手动狗头)至于玩游戏,他是认真的。不是他指定了几款游戏一下子玩完,而是接触了上百款单机游戏。与其说是游戏,不如说是游戏评测。那时候,做一个“游戏博主”并不容易。他不得不站在设计师的角度考虑问题,比如精美的画面、关卡设计、技术实现……这也驱使他去浏览技术论坛和网络资源。那时我才明白,国外精美的3D特效需要这么先进的技术才能实现。张欣欣告诉量子位,当时就冒出一个想法,有一天要研发这些顶尖的技术,做出顶尖的游戏。之后大学自学CG和Pixar实习,才真正让这个想法发生了质的变化。因为偏心,他在刮二线后进入了浙大城市学院。但在大学里接触到数学和物理的教学后,他开始意识到,这些都是自世界大战以来改变人类世界的力量。在兴趣的驱使下,张欣欣自学了图形知识,并编写了代码。最后熟练到什么程度?张欣欣回忆说,当时相关领域的医生时不时会就一些科研项目向他请教。从浙江大学毕业后,他来到纽约大学攻读研究生,也正是在那里,他遇到了人生中最难得的机会——去皮克斯实习。颁发奥斯卡奖的组委会AMP(AmericanAcademyofMotionPictureArtsandSciences)从美国知名大学中选出五位计算机科学和数学领域的研究人员,他们有机会进入前五名在好莱坞的工作室进行暑期实习。其中不乏皮克斯、梦工厂、工业光魔等知名团队。经过多次采访和筛选,他成为了其中的五分之一。当他接到组委会的电话时,激动得在大街上尖叫。现在回想当年的实习岁月,他在皮克斯感受最深的就是科学应该为艺术服务。与其他工程团队不同的是,皮克斯的技术人员不仅需要将纸张转化为可用的工具,还要将这些工具转化为艺术家可以“理解、理解、理解和使用”的积木。利用本地超算系统,美术团队只需在软件界面上移动鼠标,所有的画面效果都会通过幕后无形的计算,实时直接传回给美术师。基于这样的理念,他于去年9月以创始人兼CTO的身份创立了AgentZessen。我在公司当唐僧,取名泽纳斯,又名泽纳斯。张欣欣是这样给我们解释背后的含义的:Zenus拆解分为Zen,意思是禅和佛,Venus是维纳斯的意思,所以中文也叫佛教金星。除了佛教,禅宗在中国语境下也有道家、自然的意味,也符合物理模拟中对真与美的追求。其实在成立之前,就有两个这样的小插曲。一是在实习期间,他看到了好莱坞影视产业化的全链条过程,惊叹国外顶尖的特效技术,但国内类似的团队少之又少,能与之媲美的就更少了。由此,他萌生了在中国打造类似团队的想法。另一次是2018年,当时我所在的公司被谷歌收购,被北京大学陈宝全教授邀请到北京电影学院未来影像高精尖创新中心工作,之后加入腾讯游戏。正是在电影和游戏这两个顶级技术团队的工作经历,让他了解了目前国内的发展。一切准备就绪后,他创立了芝诺科技,致力于打造芝诺物理仿真平台,目前团队约10人。他还以此鼓励那些想创业的技术人员:想创业就勇敢迈出第一步,比如先与妻子达成共识,得到她的支持和肯定。现在,公司成立快一年了,张欣欣感叹自己越来越像佛经组的唐僧了。小伙伴们的技术都很高,这点我很佩服。我在团队中做的更多是用技术服务于创新的理念来影响和凝聚整个团队。使整个团队能够实现这一共同的追求。对于未来,他希望有更多志同道合的伙伴参与进来,投身于这项事业。正如他的一篇文章中提到的:我们必须是边看电影边推导数学公式和神经网络的科学家。ZENO教程地址:https://zenustech-documentation.readthedocs.io/zh/latest/index.htmlZENOEmbed教程:https://zhuanlan.zhihu.com/p/397424868ZENOEmbed案例:https://github。com/zenustech/zeno_embed_demo