当前位置: 首页 > 科技观察

AIAdversarialArchitectureforFacialDepthMapEstimationUsingMonocularIntensityImagesDeepLearning

时间:2023-03-14 13:00:32 科技观察

本文提出了一种使用单目强度图像进行面部深度图估计的对抗性架构。通过遵循图像到图像的方法,我们结合了监督学习和对抗训练的优势,提出了一种条件生成对抗网络,可以有效地学习将强度人脸图像转换为相应的深度图。两个公共数据集,即Biwi数据库和Pandora数据集,用于证明所提出的模型在视觉外观和信息内容方面都能生成高质量的合成深度图像。此外,我们证明该模型能够通过测试深度图来预测独特的面部细节,该深度图由在真实深度图上训练的深度模型生成,用于面部验证任务。AIAdversarialArchitecturesforFacialDepthMapEstimationUsingMonocularIntensityImages简介:深度估计是一项任务,由于存在两个高质量的立体相机(即人眼)和一个特殊的学习工具(即人脑),人类将自然受益。是什么让人类如此擅长评估单个单眼图像的深度以及这种学习过程是如何发生的?一个假设是我们培养教师通过过去的视觉经验来估计世界的3D结构,其中包括大量与触觉刺激(对于小物体)和运动(对于更宽的空间)相关的观察[43]。这个过程使人类能够发展出推断所见物体和场景的结构模型的能力,即使是从单眼图像中也是如此。尽管深度估计是一种自然的人类大脑活动,但该任务在计算机视图的上下文中是一个不适合的问题,因为不同的3D地图可能会生成相同的2D图像。此外,由于属于强度图像和深度图的信息来源极为不同,因此很难分别在这两个域之间转换纹理和形状数据。传统上,计算机视觉社区以不同的方式广泛解决深度估计问题,例如立体相机[16、40]、运动结构[4、6]以及阴影和光扩散的深度[35、37]。提到的方法都存在不同的问题,例如深度均匀性和缺失值(导致深度图像出现空洞)。其他具有挑战性的因素与相机校准、设置和后处理步骤有关,这些步骤可能耗时且计算量大。最近,由于深度神经网络的进步,研究团队研究了从强度图像进行单一深度估计的任务,以克服先前报告的问题。ContributionofAdversarialArchitecturesforFacialDepthMapEstimationUsingMonocularIntensityImagesinAI:本文提出了一个框架,用于从人脸的单目强度图像生成深度图。对抗性方法[12,28]被用来有效地训练完全卷积自动编码器,这些自动编码器能够从相应的灰度图像估计面部深度图。为了训练和测试所提出的方法,使用了两个由大量深度和强度图像对组成的公共数据集,即Pandora[3]和BiwiKinectHeadPose[9]数据集。据我们所知,这是使用与全局深度场景估计不同的对抗方法来解决此任务的首次尝试之一,后者涉及小型物体和充满细节的面部:人脸。***,我们研究如何有效地衡量系统性能,引入各种每像素指标。此外,我们引入了一种在原始人脸深度图像上训练的人脸验证模型,以检查生成的图像是否保持原始人的面部特征,不仅在通过人类视觉检查时,而且在通过深度卷积网络处理时。AIAdversarialArchitecturesforFacialDepthMapEstimationUsingMonocularIntensityImages深度学习架构:在本节中,我们提出了我们的面部强度图像深度估计模型,详细介绍了cGAN架构、其训练过程和采用的预处理面部裁剪算法(部分3.2).该模型的实施遵循[12]中提出的指南。继Goodfellow等人的工作之后。[12]和米尔扎等人。[28],所提出的架构由一个生成网络tt和一个判别网络dtt组成,对应于一个估计函数,该估计函数预测深度图Igen=tt(Igray),给定面部灰度图像强度作为输入,并估计相应的深度图。(目标韩国函数包括对抗损失和mse损失)。基于单眼强度图像深度学习的面部深度图估计的人工智能对抗架构结论:在本文中,我们提出了一种根据强度图像估计面部深度图的方法。为了评估生成图像的质量,我们使用在原始深度图上预训练的Siamese网络执行人脸验证任务。通过证明在对生成的图像进行测试时Siamese网络的准确性不会降低,我们证明了所提供的框架可以在视觉外观和判别信息方面生成高质量的深度图。我们还证明,在训练对抗策略时,所提出的架构优于自动编码器和文献竞争对手。由于我们方法的灵活性,我们计划通过引入特定于任务的损失来扩展我们的模型,并将其应用于不同的场景。