近年来，虚拟数字人产业爆发，各行各业都在推出自己的数字人像。毫无疑问，高保真3D头发模型可以显着提高虚拟数字人的真实感。与人体其他部位不同，头发结构的描述和提取更具挑战性，因为交织在一起的头发结构极其复杂，这使得仅从单一视图重建高保真3D头发模型变得极其困难。一般来说，现有方法分两步解决这个问题：首先，从输入图像中提取的2D方向图估计3D方向场，然后从3D方向场合成发束。但这一机制在实践中还存在一些问题。基于实践中的观察，研究人员正在寻求一种全自动且高效的头发模型建模方法，该方法可以从单个图像重建具有细粒度特征的3D头发模型（图1），同时表现出高度的灵活性，例如重建头发模型只需要网络的一次前向传递。为了解决这些问题，浙江大学、苏黎世联邦理工学院和香港城市大学的研究人员提出了IRHairNet，它实施了从粗到精的策略来生成高保真3D方向场。具体来说，他们引入了一种新的体素对齐隐函数（VIFu）来从粗模块的二维方向图中提取信息。同时，为了弥补2D方向图中丢失的局部细节，研究人员利用高分辨率亮度图提取局部特征，并在精细模块中结合全局特征进行高保真头发造型.为了从3D方向场有效地合成发束模型，研究人员引入了GrowingNet，这是一种利用局部隐式网格表示的基于深度学习的头发生长方法。这是基于一个关键观察：虽然头发的几何形状和生长方向在全球范围内不同，但它们在特定的局部尺度上具有相似的特征。因此，可以为每个局部3D方向补丁提取一个高级潜代码，然后训练一个神经隐函数（解码器）根据这个潜代码在其中长出头发丝。在每个生长步骤之后，将使用以发束末端为中心的新局部斑块继续生长。经过训练，适用于任意分辨率的3D方向场。论文：https://arxiv.org/pdf/2205.04175.pdfIRHairNet和GrowingNet构成了NeuralHDHair的核心。具体来说，这项研究的主要贡献包括：引入了一种新型的全自动单眼头发建模框架，该框架明显优于现有的SOTA方法；引入由粗到细的神经头发建模网络(IRHairNet)，它使用新颖的体素对齐隐式函数和亮度图来丰富高质量头发建模的局部细节；提出了一种新的基于局部隐函数的头发生长网络（GrowingNet），可以高效生成任意分辨率的头发模型，该网络比之前的方法实现了一个数量级的加速。方法图2显示了NeuralHDHair管道。对于肖像图像，首先计算其2D方向图，然后提取其亮度图。此外，它们会自动与同一胸围参考模型对齐，以获得胸围深度图。这三个图表随后被反馈给IRHairNet。IRHairNet旨在从单个图像生成高分辨率3D头发几何特征。该网络的输入包括一个2D方向图、一个亮度图和一个拟合的半身深度图，所有这些都是从输入的肖像图像中获得的。输出是一个3D方向场，其中每个体素包含一个局部生长方向，以及一个3D占用场，其中每个体素表示细线是通过(1)还是不通过(0)。GrowingNet旨在从IRHairNet估计的3D方向场和3D占用场高效地生成完整的发束模型，其中3D占用场用于约束头发生长区域。该方法的更多细节可以在原始论文中找到。实验在这一部分中，我们通过消融研究（第4.1节）评估每个算法组件的有效性和必要性，然后将我们的方法与当前最先进的方法（第4.2节）进行比较。实施细节和更多实验结果可以在补充材料中找到。AblationExperimentalResearchers从定性和定量的角度评估了GrowingNet的保真度和效率。首先对合成数据进行了三组实验：1)传统的头发生长算法，2)没有重叠潜在补丁方案的GrowingNet，以及3)本文中的完整模型。如图4和表1所示，与传统的头发生长算法相比，我们的GrowingNet在时间消耗上具有明显优势，同时在视觉质量方面保持相同的生长性能。另外，通过对比图4的第三列和第四列可以看出，如果没有重叠的potentialpatchscheme，patch边界处的发丝可能是不连续的，这是毛发生长方向时的问题股线急剧变化。更严重了。但值得注意的是，该方案以略微降低精度为代价，大幅提升了效率，提升效率对其便捷高效应用于人体数字化具有重要意义。与SOTA方法的比较为了评估NeuralHDHair的性能，研究人员将其与一些SOTA方法进行了比较[6、28、30、36、40]。其中，Autohair是基于数据驱动的头发合成方法，而HairNet[40]忽略了头发的生长过程，实现了端到端的头发建模。相比之下，[28,36]实施两步策略，首先估计3D方向场，然后从中合成头发丝。PIFuHD[30]是一种基于由粗到细策略的单目高分辨率3D建模方法，可用于3D头发建模。如图6所示，HairNet的结果看起来不尽如人意，但局部细节甚至整体形状都与输入图像中的头发不一致。这是因为该方法以简单粗暴的方式合成头发，直接从单个图像中恢复无序的头发。此处还将重建结果与Autohair[6]和Saito[28]进行了比较。如图7所示，虽然Autohair可以合成逼真的结果，但由于数据库包含的发型有限，它无法在结构上很好地匹配输入图像。另一方面，Saito的结果缺少局部细节，形状与输入图像不一致。相比之下，我们方法的结果更好地保留了头发的全局结构和局部细节，同时保证了头发形状的一致性。PIFuHD[30]和DynamicHair[36]致力于估计高保真3D头发几何形状以生成逼真的头发模型。图8显示了两个具有代表性的比较结果。可以看出，PIFuHD采用的像素级隐函数无法充分描述复杂的毛发，导致结果过于平滑，没有局部细节，甚至没有合理的全局结构。DynamicHair可以用更少的细节产生更合理的结果，结果中的头发生长趋势可以很好地匹配输入图像，但是很多局部结构细节（例如层次结构）无法捕捉到，尤其是对于复杂的发型。相比之下，我们的方法可以适应不同的发型，甚至是极其复杂的结构，并充分利用全局特征和局部细节来生成具有更多细节的高保真、高分辨率3D头发模型。
