随意的草图可以在几分钟内自动变成逼真的3D模型？！360°更不用说没有死角，转场过程中真的不需要任何其他角度和姿势输入。这是最新获得SIGGRAPH2022荣誉奖的3D姿态估计模型：Sketch2Pose。除了素描，像这只四肢严重不成比例的小猴子，Sketch2Pose也能做到：这是怎么做到的？将素描人变成3D人，把素描上的人物/图像变成3D模型，只需要4个步骤，这在以往的研究中并没有具体涉及。这个任务最大的挑战就是比例失真的问题，因为画上的东西可能头大身体小，胳膊长腿短……为此，Sketch2Pose消除了画图时可能出现的“歧义”poses通过预测三个关键元素”。这三个元素是：2D骨切线（2Dbonetangents）自接触（self-contacts）骨缩短率（boneforeshortening）其中，2D骨切线（下图中蓝色部分）)是预测3D骨骼Index方向最有力的（关节位置不起作用）。自接触区（下图绿色部分，手触及腰部的地方）对于理解3D姿势至关重要，是也是消除未知身体部位歧义的线索。BoneShorteningTransformationSystem使用统计分析来纠正原始图像中的比例问题。根据这三个预测，使用最先进的优化框架（optimizationframework），并使用专门设计的新损失（loss）来平衡姿势的自然性和与输入草图的相似性，AI最终可以推断出符合艺术家意图的3D姿势。具体步骤如下：输入草图，先预测2D关节位置或骨架，对3D人体模型进行粗对齐。然后预测屏幕空间接触区域，将其映射到大致对齐的3D模型，得到一组接触顶点（红色部分）。接下来，它修复了缩短转换阶段所描述的草图字符比例问题。最后，在优化框架中使用2D骨架的骨切线、粗略对齐的3D姿势和比例修复来生成最终结果。最终的Sketch2Pose可以支持各种素描风格的转换，比如下图的简笔画或者水墨画，像下图最后一个这样简单的也可以。同时，它还可以鲁棒地处理丢失和遮挡的部分。比如上图第一行的人手（但是我们发现左边的猜测好像是错误的，手应该放在两腿之间；右边的头基本没有问题，但手掌应向后弯曲）。对比Sketch2Pose和SOTA方法，结果还是很满意的。可以看出Sketch2Pose（第三列）对pose的还原比较到位，对缺失部分的预测更符合人体结构。至于一开始的小猴子，穆勒等人的转换效果。2021等方法如下：对于猴子“扭曲”的下肢，这些方法都误会了——Sketch2Pose胜出。作者介绍Sketch2Pose有两位作者，均来自加拿大蒙特利尔大学。一个叫KirillBrodt（КириллБродт），1991年出生，毕业于新西伯利亚国立大学（数学专业），后在Yandex数据分析与计算机科学中央学院学习机器学习，现在是博士。在蒙特利尔大学出生。主要研究方向为素描相关的计算机视觉变换。另一位作者MikhailBessmeltsev是第一项工作的导师，也是蒙特利尔大学计算机科学与运筹学系的助理教授。有兴趣的同学可以戳论文原文，或者去Huggingface试试效果。原论文：https://dl.acm.org/doi/10.1145/3528223.3530106项目主页：https://www-labs.iro.umontreal.ca/~bmpix/sketch2pose/Huggingfacedemo：https://huggingface.co/spaces/SIGGRAPH2022/sketch2poseGithub代码：https://github.com/kbrodt/sketch2pose
