当前位置: 首页 > 科技观察

NeRFaceEditing面神经辐射野蒙版编辑法,无需3D建模也能编辑3D人脸

时间:2023-03-12 08:49:40 科技观察

想要个性化设计高逼真的3D人脸,却发现自己对专业设计软件不熟悉?3D人脸编辑方法NeRFFaceEditing提供了一种新的解决方案。即使你不懂3D建模,也可以在元宇宙中自由编辑高逼真3D人脸,建模个性化数字人像!NeRFFaceEditing由中国科学院计算技术研究所和香港城市大学的研究人员共同完成,相关技术论文发表于计算机图形学顶级会议ACMSIGGRAPHAsia2022。项目主页:http://geometrylearning.com/NeRFFaceEditing/NeRFFaceEditing二维语义掩码作为三维几何编辑的桥梁。用户在一个视角中执行的语义编辑可以传播到整个三维面的几何形状,同时保持材质不变。此外,给定代表参考样式的图像,用户可以轻松更改整个3D面的材质样式,同时保持几何形状不变。基于这种方法的3D人脸编辑系统,即使用户不熟悉专业的3D设计,也可以轻松进行个性化的人脸设计,自定义人脸的形状和外观。让我们来看看使用NeRFFaceEditing的两个惊人效果吧!图1几何编辑效果:对二维语义掩码的编辑传播到整个三维几何空间图2风格迁移效果:将给定风格应用于面部的整个三维空间,同时保持ThegeometrychangedPartI背景近年来,随着神经辐射场[1]和对抗生成网络[2]的结合,各种高质量、快速渲染的3D人脸生成网络被提出,包括EG3D[3]。图3EG3D不同视角的生成效果和几何表示。该方法的三平面表示结合了传统的二维生成对抗网络和最新的三维隐式表示,从而继承了StyleGAN[4]强大的生成能力和神经辐射场表示能力。然而,这些生成模型无法解耦人脸的几何形状和材质,这对于3D角色设计等应用来说是不可或缺的功能。现有工作,如DeepFaceDrawing[5]、DeepFaceEditing[6]等,可以实现基于线描的几何与材质的解耦控制,以及二维人脸图像的生成与编辑。DeepFaceVideoEditing[7]将线稿编辑应用于人脸视频,可以生成丰富的时序编辑效果。然而,图像解耦和编辑方法很难直接应用于三维空间。然而,现有的3D人脸几何和材质解耦方法往往需要重新训练网络参数,所使用的空间表示方法有很大的局限性,缺乏三平面表示的良好特性。为了解决上述问题,NeRFFaceEditing基于三个平面表示的3D生成对抗网络的预训练模型参数,以任意视角的二维语义掩码为媒介,实现几何编辑三维面和材料的分辨率。耦合控制。Part2NeRFFaceEditing的算法原理受到AdaIN[8]三平面生成器生成三个平面后的启发,即对于一个二维特征图(FeatureMap),其统计量可以代表其风格,NeRFFaceEditing分解三个平面是表示空间不变的高级材料特征的均值和标准差(a),而归一化的三平面表示空间变化的几何特征。结合标准化的三平面和分解的材料特征(a)可以恢复原来的三平面。因此,如果给定不同的材料特性,就可以给同一个几何体赋予不同的材料。此外,为了实现几何和材质的解耦控制,NeRFFaceEditing将原来单一的解码器分解为几何解码器和材质解码器。几何解码器输入标准化三平面采样得到的特征,预测密度和语义标签,用于表达3D人脸的几何和语义遮罩体积(Volume)。几何特征和材料特征(a)由可控材料模块(CAM)模块组合,然后将采样特征输入材料解码器以预测颜色。最后通过体绘制得到一定视角下的人脸图像和对应的语义掩码。给定一个不同的材质特征(b),几何特征和材质特征(b)可以通过CAM模块和体积渲染得到另一个具有相同几何形状但材质发生变化的人脸图像。整体网络结构如下图所示:图4NeRFFaceEditing网络架构另外,NeRFFaceEditing为了约束材质特性相同但几何形状不同的样本的渲染结果在材质上相似,NeRFFaceEditing使用生成的语义掩码并使用histogram特征用于表示具有相同材质特性、不同几何形状的样本的不同面部成分,如头发、皮肤等的颜色分布。然后针对每个组件上颜色分布的距离和优化这些样本。如下图所示:图5.材质相似性约束训练策略Part3效果展示与实验对比使用NeRFFaceEditing,可以借助2D语义掩码对3D人脸空间进行几何编辑:图63D人脸几何编辑此外,还可以根据参考图片在3D空间进行三维一致材质风格迁移:图73D人脸风格迁移在此基础上,可以实现解耦的人脸插值变形应用,如图下图,左上角和右下角分别作为起点和终点,相机、几何、材质的线性插值:图8展示了解耦面变形的效果。借助PTI[9],可以将真实图像反投影到NeRFFaceEditing的隐空间,也可以实现对真实图像的编辑和风格转换。这样,NeRFFaceEditing也与其他可以控制视角的人脸编辑开源方法,即SofGAN[10]进行了比较,证明了该方法的优越性。图9.真实图像的3D几何编辑示例。可以看出NeRFFaceEditing的真实性要好于SofGAN,从其他角度看SofGAN的身份也有一定的变化。图10来自真实图像的风格迁移示例。可见,SofGAN存在一定的缺陷,身份也有一定的变化。Part4ConclusionandAcknowledgements数字内容生成在工业生产和数字媒体中有着广泛的应用,尤其是虚拟数字人的生成和编辑,最近受到广泛关注,3D人脸几何和材质的解耦编辑是A个性化创建真实虚拟图像的可能解决方案。NeRFFaceEditing系统通过3D人脸生成网络的解耦设计,可以将用户对语义掩码的修改从2D视角转化为对整个3D空间的几何修改,并保证材质不变。此外,借助加强风格迁移效果的训练策略,可以实现三维空间中有效的材质风格迁移。NeRFFaceEditing的论文已被计算机图形学顶级会议ACMSIGGRAPHASIA2022录用。该项目研究团队包括中科院计算所精英班本科生姜凯文(第一作者)、高琳副研究员(本文通讯作者)、陈书玉博士和香港城市大学傅洪波教授。有关论文的更多详细信息,请浏览项目主页:http://geometrylearning.com/NeRFFaceEditing/