2018年7月，快手推出萌脸魔幻表情，首次将iPhoneX的Animoji玩法普及到全机型。2018年12月，快手进一步推出了“萌脸Kmoji”魔幻表情。通过该功能，用户可以使用摄像头拍照生成属于自己的专属面部AR虚像，同时捕捉用户的表情，眨眼、张嘴、扬眉、吐舌头等细微动作都能精准还原。这是短视频平台首次允许用户自定义AR头像进行拍摄。用户用萌萌小表情制作的手绘形象“萌萌小表情”生成的虚拟形象生动逼真，与苹果公司主推的memoji效果相差无几。不过，《萌脸Kmoji》不需要iPhoneX或更新的苹果设备或系统，也可以在任何智能手机上流畅使用。另一方面，相比苹果Memoji复杂的挤脸步骤，“萌萌表情”要简单的多：打开最新版快手APP的拍摄页面，在神奇表情“萌萌”中选择“创建专属”“萌脸”拍摄，系统会根据用户的面部特征，一键自动生成与用户相似的AR图像。用户还可以根据自己的喜好，自由调整头像的五官、皮肤、发型、装饰等，打造独一无二的AR形象。“萌萌小表情”的捏脸选项提供了160多种素材选项，给用户更多个性化的选择。《萌萌面Kmoji》的背后，是快手技术团队的大量研发工作。首先，基于人脸关键点、图像特征提取等AI技术，“萌脸Kmoji”无需iPhoneX等设备支持的3D结构光信息，即可识别用户的发型、脸型、五官、等仅具有2D视觉信息。肤色、口红颜色、胡须等面部属性信息，构建用户专属的3DAR图像，通过表情参数驱动3D图像做出各种微妙的表情，如微笑、闭眼、张嘴、吐舌头out等50多种表情都是多模态技术的成功应用。此外，《萌脸Kmoji》采用了基于物理的写实渲染算法，金属、皮革等模型材质更加逼真有质感，大大提升了模型的表现力。同时，快手技术团队通过算法的优化，大大降低了运行“萌脸表情”所占用的CPU和GPU资源，提高了运行效率。普通千元手机也能流畅运行。基于3D分析和2D信息融合的Kmoji人脸属性和表情识别背后的人工智能技术解决方案详解。.对于图像信息，快手技术团队会利用3D重建技术还原3D结构，同时与2D信息有机融合，并基于这些重建、分析和融合，分析出人脸的属性，以及从多维度特征分析人脸，生成个性化头像。同时实时进行面部表情分析，驱动生成的头像。在此之上，快手技术团队还将利用人体进行相关分析，如头发、肩膀等，为与真实场景融合打下基础，利用自研手机逼真渲染引擎个性化活动可爱的脸实时呈现给用户。3D人脸重建3D人脸重建是整个系统中非常重要的一部分。快手技术团队采集了数万张人脸3D数据，包括各个年龄段、种族、脸型等，以及每个人对应的各种面部表情，从而建立了一个几乎涵盖所有人脸和表情的空间3D人脸数据库。通过这个数据库，可以对任何人脸的任何表情进行建模。快手技术团队研发了人脸关键点技术，通过一百多个关键点来描述人脸的表情变化，从而重构出每个人在各种表情下的立体人脸。另一方面，通过高效的神经网络技术，保证3D人脸重建即使在性能较低的手机上也能实时运行。人脸属性感知在人脸属性感知方面，快手技术团队利用神经网络感知人脸的细粒度属性，包括性别、年龄、肤色、脸型、眼睛、嘴巴等细粒度信息。与同类产品相比，它可以做到自动人脸定制，同时利用海量人脸数据，多任务协同学习，捕捉人脸细微特征。很难区分细粒度的属性。有些问题即使是人眼也很难区分。为此，快手技术团队做了大量的精细设计，集成了分类/回归/分割技术，提升自动捏脸性能。准确性。面部表情识别面部表情是一种复杂而微妙的信息，人们对面部表情的感知非常敏感。仅依靠图像信息，机器很难识别微妙/夸张/灵活/稳定的面部表情信号。快手技术团队通过2DRGB视觉信息建模求解，实时获取人脸关键点重构3D模型，求解人脸表情，驱动虚拟人物做出各种逼真的动作。同时，得益于深度神经网络模型的量化，可以通过压缩和加速解决手机的性能问题，并且该方案可以适配任何机型。高品质渲染萌脸效果的最终呈现离不开渲染。为了获得高质量的渲染效果，快手技术团队采用先进的Pp技术，在移动端实现了PC游戏级别的画质；同时，依托深度AI技术的积累，梦棉可以根据外部环境和用户的图像特征，智能选择最适合用户的素材，从而达到最佳的渲染效果。为了获得更真实的体验，快手技术团队引入了物理引擎来实现头发、布料等柔体的运动效果。为了让用户获得最佳体验，渲染引擎会根据不同机型选择合适的渲染质量。手机预测模型优化为了让AI模型在手机端流畅运行，快手技术团队主要优化了三个方面：第一，图像预处理环节，我们结合各种图像预处理操作，以及图像内存对预处理中涉及的内存进行统一分配和回收，减少内存资源的消耗，提高分配和使用效率。同时我们充分利用NEON加速和苹果自带的accelerate加速，整个运行时库只占用2M空间。最后，我们在保证预测精度的前提下，对AI模型进行局部INT8量化。优化后，运行速度可提升1倍以上，AI预测模型占用的空间也减少到原来的近四分之一。除了头像，在萌萌所用系统的基础上，快手技术组还扩展了应用：人像3D光效，世界上的另一个人像3D光效人像3D光效主要采用实时人脸3D重建技术，它使用人脸参数化先验模型，根据输入图像自动匹配人脸几何信息，获取人脸3D模型参数，得到人脸3D网格模型。可根据不同场景设置不同光源，采用实时渲染技术渲染虚拟人脸，获取面部光影图；同时，可以对输入人像进行前景分割，得到前景分割mask，也可以根据原图得到其他mask信息；这些masks根据场景需求以特定的方式作为不同的图层叠加在原始图像上，就可以得到光照效果。世界上的另一个你《世界上另一个你》是整个系统的另一个离线应用。体验者走到屏幕前，点击抓拍按钮，倒计时3秒后，左侧屏幕镜头抓拍到参与者面部图像。右图是在视频库中搜索和匹配快手用户的数十亿条公开视频，匹配结果在100毫秒内显示，显示在快手端播放了长相相似的用户视频.核心技术：基于亿级公众人脸数据，进行人脸属性分析识别，提取人脸特征并进行数据结构化，建立高效索引，对低对比度、模糊、大角度人脸进行人脸分析专项优化。前端对人脸图像的检测也是基于人脸分析模型，提取人脸特征，在背景索引中搜索，找出相似度最高的三张人脸图像。对检索到的三张人脸图像进行更细粒度的属性分析，得到相应的年龄、性别、表情等属性，并根据属性重新排列检索结果。最后，前端显示相似度最高的人脸。快手与其他通用图像检索平台相比，具有以下优势：数据量巨大数据分布相对均匀数据多样性：不同场景拥有丰富的姿态、光照、表情等数据
