港华MMLab团队的研究证实，2DGAN可以隐式学习物体的3D结构。研究人员提出的方法可以看作是一种新的3D形状生成方法。他们提出了一种新的无监督3D重建方法“Shape-from-GAN”，不依赖于传统方法的对称性假设，首次实现了在建筑物等开放数据集上的3D重建。该研究已被接受为ICLR2021口头论文。如今，StyleGAN等对抗性生成网络能够生成各种物体的逼真二维图像。但如果您不知道，这些GAN实际上知道它们生成的对象的3D形状。对于2DGAN生成的图像，我们已经能够准确重建其3D结构，并实现旋转、重新打光等图像编辑效果，如下图所示：?这是来自香港中文大学南洋理工的研究员大学和香港大学提出的方法GAN2Shapeforunsupervised3Dreconstructionwith2DGAN。这种“Shape-from-GAN”范式无需依赖传统方法的对称性假设，适用于多种对象类别，超越以往方法实现SOTA。目前，该论文已被ICLR2021录用为Oralpaper，论文代码也已开源。论文链接：https://openreview.net/pdf?id=FGqiDsBUKL0项目链接：https://github.com/XingangPan/GAN2Shape研究动机近年来，生成对抗网络（GAN）在图像生成任务上取得了长足的进步成功。而当我们热衷于用它来创造一个二维图像世界时，一个事实是，这些二维图像实际上是三维物体在二维图像平面上的投影。例如下图，StyleGAN[1]可以实现人脸的透视变化（在人脸透视标注的监督下）。因此，当我们在GAN的图像空间中穿行时，这些图像应该理想地符合物体本身的3D结构。?StyleGAN可以实现人脸的透视变化。因此，一个有趣的问题是，我们能否通过挖掘2DGAN中的几何信息（视点和光照）来重建物体的3D形状？?方法：挖掘不易，利用GAN图像空间中的视角和光照信息来挖掘GAN中的几何信息。现有方法很难在任何对象类别的GAN的潜在空间中找到与视角和光照变量对应的确切方向。为了解决这个问题，研究人员注意到大多数物体（如人脸、汽车等）都具有相对“凸起”的3D形状。因此，他们使用椭圆体作为物体的先验形状。这个先验虽然较弱，但可以在一定程度上反映物体的视角和光照变化，可以用来指导GAN图像空间中不同视角和光照的探索。GAN2Shape方法概述基于这一思想，研究人员设计了一种策略，用于迭代挖掘和利用GAN图像空间中的透视和光照信息。具体步骤如下：第一步是使用初始化后的形状（即椭圆体）和渲染器在不同的视角和光照条件下渲染出许多“伪样本”；第二步，利用预训练的GAN重构伪样本，得到其在GAN图像空间的投影，即“投影样本”（projectedsamples）。这些投影样本会继承与假样本相同的视角和光照，同时GAN的生成特性会将投影样本约束在真实图像空间中，从而消除假样本中不真实的失真和光影样本；第三步是使用投影样本作为渲染步骤的groundtruth可以微分来优化物体的三维形状。由于投影样本中包含了GAN学习到的物体的三维信息，所以物体的形状会更加准确，比如上图中的人脸。上述步骤完成后，我们可以将优化后的形状作为初始形状，重复上述步骤，多次迭代，逐步完善形状，直至收敛。值得一提的是，为了保证上述第二步中使用GAN重建伪样本时重建结果的真实性，研究人员提出了一种利用StyleGAN2的局部映射网络来约束隐藏向量的方法。可以在查看原始论文中找到更多详细信息。实验：所有二维的GAN图像都可以是三维的研究人员将GAN2Shape应用于在人脸、猫脸、汽车和建筑物上训练的StyleGAN2[1]，结果可以重构出合理的三维形状，如图下图：下图是GAN2Shape对建筑物的3D重建和relighting结果，以及与Unsup3d的对比[2]：另外，本研究的量化结果也明显超越其他方法，并没有使用传统的方法人脸对称假设的方法在这种情况下，仍然可以获得合理的3D重建结果。由于该方法在GANlatentspace中获取了物体的三维形状和透视光照变化的方向，因此可以对图像进行三维编辑，如下图所示：3D图像编辑结果，包括物体旋转并重新照明。与其他使用GAN实现人脸旋转的无监督方法相比，研究人员的方法更好地保留了人脸的身份：无监督人脸旋转方法的比较。更多3D重建和编辑结果如下图所示：
