简介人脸建模一直是计算机图形学和视觉领域的热门话题，包括卡通人物建模、人脸艺术设计、实时人脸重建等，尤其是交互式人脸建模。我们构建了一个快速、交互式、基于深度学习的人脸建模框架。通过简单地勾画一张人脸图片（漫画），我们的模型可以快速生成对应的3D人脸模型，并且可以同时拟合面部轮廓和细节表情。同时，我们还提供了多种方式来快速修改模型。实验表明我们的结果非常准确和快速。框架强烈推荐大家通过视频了解我们的框架：Youtube：DeepSketch2Face(SIGGRAPH2017)Youtube腾讯视频：DeepSketch2Face(SIGGRAPH2017)腾讯视频框架的流程如图：InitialSketchingMode（初始素描模式）我们使用卷积神经网络(CNN)学习2D绘画的面部特征。如图所示，输入是一幅大小为256×256的绘画图片，通过卷积层提取特征，结合每个像素点的双线性插值编码，利用不同的全连接层，得到一个50维的最终输出人脸向量。和一个16维的表达向量。我们预设了50个人脸库和16个表情库，最终输出的模型是向量和库的点积。我们可以做到近实时渲染，即用户每画一条线，就快速输出对应的拟合3D模型。（对于卷积层，我们使用了比较老的AlexNet。我们也尝试了Resnet等较新的网络结构，精度没有明显提升；同时考虑到实时渲染的速度要求，我们选择了这样的妥协。。）下面是一些真实的渲染结果：后续素描模式使用相同的卷积神经网络和拉普拉斯变形，我们为用户提供了一个易于修改的绘图方案。对于不擅长从白纸画人像，或者不想生成复杂脸型的用户，可以跳过第一步，直接进行连画。在连续绘制模式下，单向工程（2D->3D）转化为双向工程（2D<->3D）：用户可以直接从当前生成或预设的3D模型中获取2D人脸轮廓，并根据这个人脸轮廓进行修改、删除、变形等操作；与第一步类似，这个2D轮廓可以生成相应的3D模型。下图是连续绘制模式生成的典型模型：精细修改模式（Gesture-basedRefinement）我们提供了一种基于手势的精细修改模式。如图所示，用户可以使用相应的手势来选择图像的区域进行变形，比如隆起的脸颊、修饰的眉毛、修饰的面部轮廓等等。用户的手势也是通过一个简单的卷积神经网络学习的。输入是用户画出的手势，输出是对应的操作。平均下来，基于我们的框架，新手画人脸模型只需要5~7分钟，熟练后一两分钟就可以画出逼真的人脸模型。我们支持多种模型格式输出，以便与其他平台对接。用户可以在实时操作中无障碍地撤消和重做操作。用户操作窗口本身也支持各种常见的渲染操作，如放大、缩小、旋转、移动纹理等。同时，我们还提供了人脸建模的数据库，包括大量的人脸模型，以及他们不同的表情和夸张程度。模型！有关模型和数学公式的更多详细信息，请参阅原论文DeepSketch2Face:ADeepLearningBasedSketchingSystemfor3DFaceandCaricatureModeling。
