【.com快译】随着科技的进步与发展，虚拟试衣间正在走进人们的生活。那么如何提供衣服、鞋子、配饰、手表、眼镜和帽子的虚拟试穿体验，就需要了解虚拟试衣间的工作原理。为了给消费者提供在实体店购物的体验，虚拟试验人工智能技术的数据科学开发商MobiDev开发了一个虚拟试衣间。下面对虚拟试衣间技术的工作原理进行说明和分析。虚拟实验室技术的工作原理多年来，“先试后买”策略一直是服装店客户参与的有效方法。现在，该策略可以采用虚拟试衣间的形式。据研究机构《财富商业洞察》预测，到2027年，全球虚拟试衣间市场规模有望达到100亿美元。为了更好地理解虚拟试衣间技术的工作原理和技术逻辑，将以MobiDev最近开发的增强现实（AR）试鞋间开发项目为例。虚拟试衣间的工作原理如下：输入视频被分割成帧，并使用深度学习模型进行处理，该模型估计一组特定试衣者腿脚上关键点的位置。根据检测到的关键点放置鞋类的3D模型。渲染3D鞋类模型，使每一帧都显示逼真的纹理和光照。在使用ARKit（Apple设备的增强现实框架）时，MobiDev发现它存在渲染限制。从发布的视频可以看出，其跟踪精度太低，无法用于鞋类定位。这种限制的原因可能是为了保持推理速度而忽略跟踪精度，这对于实时工作的应用程序可能至关重要。另一个问题是ARKit算法不能很好地识别身体部位。由于该算法旨在识别佩戴者的整个身体，因此如果处理后的图像仅包含身体的一部分，则不会检测到任何关键点。这正是在试鞋间发生的事情，算法应该只处理试鞋者的腿。它得出的结论是，虚拟试衣间应用程序可能需要附加功能以及标准AR库。因此，建议让数据科学家参与开发自定义姿势估计模型，该模型应仅检测帧中一只脚或双脚的关键点并实时运行。虚拟试衣间解决方案虚拟试衣间技术可以提供配饰、手表、眼镜、帽子、服装等产品的试穿功能。在下面的这些解决方案中了解如何在幕后工作。(1)手表AR-Watches应用是试戴虚拟手表的一个很好的例子，它允许用户试戴各种手表。该解决方案基于ARTag技术，利用打印在表带上的特定标记，佩戴在用户手腕上而不是手表上，以启动手表的虚拟试戴。计算机视觉算法只处理那些在画面中可见的标记，并识别相机相对于它们的位置。之后，需要正确渲染手表的3D图像，并将虚拟相机放置在同一位置。总体而言，该技术有其局限性。但是，如果符合业务用例，创建正确的3D图像并不难。(2)FootwearWannaKicks和SneakerKit应用程序是AR和深度学习技术如何应用??于鞋类的绝佳示例。从技术上讲，该解决方案利用了基于深度学习的足部姿势估计模型。该技术可用于全身3D姿态估计模型的特殊情况，该模型直接或通过将检测到的2D关键点的位置外推到3D坐标来估计3D维度中选定关键点的位置。3D足部姿态估计一旦检测到穿着者足部3D关键点的位置，就可以用来创建足部的参数化3D模型，并根据足部的几何特性对鞋类的3D模型进行定位和缩放参数模型。与全身/面部姿势估计模型相比，在检测到的脚部参数模型上定位鞋类的3D模型。足部姿势估计仍然存在一定的挑战。主要问题是缺乏模型训练所需的3D标注数据。然而，避免这个问题的最好方法是使用合成数据，它假设渲染一个带有关键点的逼真的3D足部模型，并使用该数据训练模型；或使用摄影测量法，它假设从多个2D视图场景重建3D，以减少需要标记的标记数量。该解决方案在技术方面要复杂得多。为了将他们的解决方案推向市场，需要收集足够大的脚部关键点数据集（使用合成数据、摄影测量或两者的组合），以及自定义姿势估计模型（即结合足够高的精度和推理速度）需要训练。),测试其在各种条件下的稳健性并创建足部模型。从技术上讲，这是一个中等复杂度的项目。(3)GlassesFittingBox和Ditto正在考虑使用虚拟现实(AR)技术进行虚拟眼镜试戴。用户应从虚拟目录中选择一副眼镜并戴上。虚拟眼镜试戴和镜片模拟该解决方案基于深度学习姿势估计方法进行面部标志检测，其中常见的注释格式包括68个2D/3D面部标志。这种注释格式可以足够准确地区分面部轮廓、鼻子、眼睛、眉毛和嘴唇。用于训练面部界标估计模型的数据可以取自开源库，例如FaceAlignment，它提供开箱即用的面部姿势估计功能。从技术角度来看，这个解决方案并不复杂，特别是如果使用任何预训练模型作为人脸识别任务的基础。但重要的是要考虑到低质量的相机和糟糕的照明条件可能是限制因素。（4）医用口罩在新冠病毒持续蔓延的情况下，ZapWorks推出了一款基于AR的教育应用，旨在指导用户如何正确佩戴医用口罩。从技术上讲，该应用程序也是基于3D面部标志检测方法。与眼镜试戴应用程序一样，这种方法允许接收有关面部特征的信息并进一步屏蔽渲染。(5)帽子另一个经常模拟的AR物品是帽子，因为面部特征检测模型运行良好。正确渲染戴在头上的帽子所需的全部是几个关键点的3D坐标，这些关键点指示太阳穴的位置和前额的中心。QUYTECH、Banuba和Vertebrae等公司也推出了虚拟试帽应用。（6）服装与鞋帽、眼镜、手表相比，虚拟试穿3D服装仍然是一个挑战。原因是服装由于质地柔软而变形。因此，为了获得正确的AR体验，深度学习模型不仅要识别人体关节上的基本关键点，还要识别3D体型。以深度学习模型DensePose为例，该模型旨在将人体的RGB图像像素映射到人体图像的3D表面，研究发现它仍然不太适合增强现实。DensePose的推理速度不适合实时应用，人体网格检测对3D服装物品的拟合精度不够。为了改善结果，需要收集更多带注释的数据，这是一项耗时耗资源的任务。另一种方法是使用2D服装项目和2D角色剪影。Zeekit就是这样做的，它允许用户将多种服装类型（连衣裙、裤子、衬衫等）应用到他们的照片中。严格来说，2D服装图传的方式不能算是增强现实，因为“真实”意味着实时操作，但它仍然可以提供非同一般的身临其境的用户体验。其背后的技术包括生成对抗网络、人体姿势估计和人体解析模型。二维服装变换算法如下：(1)识别图像中对应身体各部位的区域。(2)检测识别出的身体部位的位置。(3)生成变形后衣服的扭曲图像。(4)将扭曲图像应用于伪影最少的人物图像。2DClothTransferExperiment由于虚拟更衣室没有现成的预训练模型，因此使用ACGPN模型来研究这一领域。这个想法是通过利用各种方法进行2D布料变换，在实践中探索该模型的输出。该模型应用于受约束（训练数据集样本、VITON样本）和不受约束（任何环境）条件下的人物图像。此外，不仅通过在自定义人物图像上运行模型，而且还使用与训练数据完全不同的自定义服装图像来测试模型能力的极限。以下是研究期间收到的结果示例：(1)使用原始数据和预处理模型复制MobiDev研究论文中描述的结果：成功(A1-A3)和不成功的换衣(B1-B3)。结果：B1-修复不良。B2-衣服重叠。B3—边缘缺陷。(2)自定义服装在默认角色图片中的应用：用自定义服装替换衣服。结果：A行-没有缺陷。B行-一些需要纠正的缺陷。C行-严重缺陷。(3)将默认服装应用于具有无约束环境的自定义人物图像图像上的服装替换输出。A行-边缘缺陷（轻微）。B行-掩盖错误（中等）。C行-修复和屏蔽错误（严重）。(4)自定义服装在自定义角色图像中的应用：衣服替换为不受约束的环境和自定义服装图像。结果：A行-从模型中获得的最佳结果。B行-许多缺陷需要审查。C行-最扭曲的结果。结论在分析输出时，发现虚拟试衣还是有一定的局限性。关键是训练数据应该包含目标布料和穿着这件衣服的人的成对图像。鉴于现实世界的业务场景，完成它可能具有挑战性。本研究的其他收获：ACGPN模型在训练数据集中的人物图像上输出相当不错的结果，如果也应用于定制服装项目。在处理在不同光照、不同环境条件和不寻常姿势下拍摄的人物图像时，该模型不稳定。将虚拟2D服装图像转换为现场人物图像的虚拟更衣室系统技术尚未商用。但如果条件是静态的，它的预期结果会好得多。阻碍开发更好模型的主要限制因素是缺乏多样化的数据集来捕捉户外条件下的人物。总而言之，现在的虚拟试衣间非常适合与身体各个部位相关的项目，比如头、脸、脚、手臂。但对于需要对人体进行全面检测、估计和修改的试衣项目，虚拟试衣间技术还处于起步阶段。然而，AR技术发展日新月异，适应和不断尝试才是最好的策略。原标题：虚拟试衣间技术的工作原理，作者：MaksymTatariants
