当前位置: 首页 > 科技观察

新的半参数变分自动编码器DeepCoder:可以分层编码人脸运动

时间:2023-03-21 14:26:57 科技观察

DeepCoder这个名字不错。在今年的ICLR大会上,剑桥大学和微软提出了一个可以与其他程序结合的DeepCoder。生成新程序的代码,详见机器之心文章《学界 | 剑桥与微软提交 ICLR 2017 论文提出 DeepCoder:组合其它程序代码生成新程序》。前段时间,其他研究人员提出了另一种DeepCoder——一种用于面部动作自动编码的半参数变分自动编码器。论文:DeepCoder:Semi-parametricVariationalAutoencodersforAutomaticFacialActionCoding(DeepCoder:Semi-parametricVariationalAutoencodersforAutomaticFacialActionCoding)论文地址:https://arxiv.org/pdf/1704.02206.pdfFaceRepresentationsof,exhibitionan固有的层次结构(即,整体面部表情可以由一组面部动作单元(AU)及其强度编码)。变分(深度)自动编码器(VAE)在从大规模图像数据中无监督地提取分层潜在表示方面取得了优异的成绩,同时保持稳定。潜在地,这将使VAE成为学习AU强度估计的面部特征的合适方法。然而,大多数现有的基于VAE的方法应用与编码特征分开学习的分类器。相反,高斯过程(GP)等非参数(概率)方法通常比参数方法表现更好,但无法轻松处理大量数据。为此,我们提出了一种新的VAE半参数化建模框架DeepCoder,它结合了参数化(卷积)和非参数化(序数GP)VAE的建模能力,用于联合学习(1)任务层级中多个层级的隐藏表示(2)多个有序输出的分类。我们在用于AU强度估计的基准数据集上进行的实验表明,我们提出的DeepCoder优于当前最先进的方法以及相关的VAE和深度学习模型。图1我们在图1中提出的2层DeepCoder:输入是人脸图像,输出是重建的人脸图像和AU强度级别。上面的变分卷积自动编码器(VAE)比人脸特征的一级编码(Z0)性能更好,而这些特征的进一步编码(Z1)使用序数GP变分自动编码器(VO-GPAE)为AU强度估计优化的算法1:DeepCoder的学习和推理图3:FERA2015:(a)MSE重建误差,(b)NLPDforVO-GPAE,(c)variationallowerboundforeachdatapointestimate,(d)ICCforAUintensityestimation,andhidden恢复空间:Z0(e)和Z1(f)》】点此阅读作者更多好文