本文经AI新媒体量子位（公众号ID：QbitAI）授权转载，转载请联系出处。我们在玩游戏、看动漫的时候，遇到过很多这样的情况：感觉哪里不对……现在，这些3D人体模型可以改进了~身体更逼真，褶皱更自然，肌肉更饱满：连情绪都好像更投入了……连肌肉颤抖都清晰可见：这么一对比，差距就很明显了~不仅动画质量更高，这种新方法还大大减少了人工参与，制作速度也更快.要知道以前的动画需要繁琐的步骤，比如：建立骨骼、蒙皮、刷权重等等……动画师往往要练习好几年，结果往往不尽如人意。现在，只需一个神经网络就可以做到。不仅如此，它还可以从图像中预测骨骼并绑定权重，从而更容易通过动作捕捉制作动画。该研究成果是与北京大学、北京电影学院等高校和机构合作完成的。相关论文《Learning Skeletal Articulations with Neural Blend Shapes》发表于SIGGRAPH2021，代码现已开源。提出的神经融合形状技术团队开发了一套神经网络来生成具有指定结构的骨骼，并精确绑定骨骼的蒙皮权重。它由两部分组成：包络变形分支和残余变形分支。其中，wrappeddeformation分支通过间接监督学习偏移量组成的特定骨架层级的绑定参数，最终从输入角色中预测骨架、蒙皮和权重绑定。你可能会说Mixamo这个常用的动画工具，也有绑定和蒙皮。但新方法可以做的不止于此，它还可以准确预测与模型紧密匹配的骨骼并绑定权重。这使得执行运动捕捉和动画变得更容易：并且，使用神经混合形状技术，补偿变形分支可以根据输入的网格连接预测相应的混合形状。同时，根据关节旋转预测融合系数，然后根据该插值获得补偿变形。例如神经混合形状会矫正肌肉形状，准确保留隆起的肌肉：对比LBS（LinearBlendSkinning）算法效果，细节处理更好：对比3D动画制作效果软件Blender：（小杜肚皮完美保存）此外，研究团队还可视化了神经混合形状系数，可以看到左边的输出图像，绑定到右边对应的pose。并且，通过颜色的变化，表达了每个关节的混合形状系数的激活程度。使用这种方法，神经网络只需要观察变形后的人物模型就可以进行间接学习，对训练数据集的变形方式没有任何限制，大大扩展了应用范围。最后，端到端自动生成实时、高质量的3D角色模型动画。一位来自北京大学图灵班。该团队由北京大学陈宝全教授研究团队、北京电影学院未来影像高精尖创新中心、谷歌研究院、特拉维夫大学、苏黎世联邦理工学院的研究人员组成。论文第一作者为北京大学图灵班本科生李佩灼。毕业于重庆市第一中学，曾入选信息学竞赛省队。2017年高考，他以687分的成绩考入北京大学。目前，李佩灼师从陈宝全教授，研究方向为深度学习与计算机图形学。目前在北京大学视觉计算与学习实验室、北京电影学院未来影像高精尖创新中心（AICFVE）实习。此前，他在SIGGRAPH上有一篇论文。在与量子比特交谈时，他表达了对图形的特别兴趣。想要了解论文的更多详情，感兴趣的朋友可以点击链接查看详情。项目主页：https://peizhuoli.github.io/neural-blend-shapes/论文地址：https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready。PDF格式
