当前位置: 首页 > 科技观察

英伟达年底大动作!发布超级图像生成器StyleGAN2

时间:2023-03-20 23:56:03 科技观察

今年早些时候,NVIDIA研究工程师发布了StyleGAN的源代码,并将其用作生成对抗网络的基于Style的生成器架构。比如可以生成无数逼真的人脸:还可以让你看看从洛丽塔到御姐的蜕变过程是怎样的:虽然强大,但毕竟是初代版本,难免有些瑕疵.现在,升级版的StyleGAN2诞生了,Nvidia最近发布了最新论文《Analyzing and Improving the Image Quality of StyleGAN》。通过分析StyleGAN的生成效果,针对不完善的工作设计了改进优化方法。我们来看看升级的地方:1.如上图所示消除特征伪影这表明在StyleGAN图像中会出现类似于水滴的伪影。虽然这些在生成的时候不明显,但是问题一直存在,从生成64×64的图像开始就存在了。分辨率越高,水滴越少。这种现象越来越严重。这个问题在StyleGAN2中已经不存在了。Nvidia研究人员重新设计了StyleGAN架构,研究了常见的类似blob的工件的起源,发现生成器创建它们是为了规避其架构中的设计缺陷。Nvidia重新设计了生成器中使用的规范化以移除伪像。如上图所示,(a)是原始的StyleGAN架构,(b)展示了原始StyleGAN架构的细节,(c)对原始架构做了一些改动,(d)是修改后的架构。改进后的效果如下:没有上面提到的神器,同时保留了完全的可控性。2.改进细节的生成我们来看看StyleGAN中使用的ProgressiveGrowing训练方法。细节对职位有强烈的偏好。当特征移动时,位置不能相应改变。StyleGAN2研究人员对其进行了优化,如上图所示,up和down分别代表双线性上采样和下采样。当牙齿或眼睛等特征在图像上平滑移动时,它们可能会留在原地,然后跳到下一个首选位置。下图显示了相关的工件。生成的人脸的面部特征可以同时发生变化。总的来说,StyleGAN2的改进如下:生成图像的质量明显更好(更高的FID分数,更少的伪影),提出了一种新的方法来替代渐进式生长,牙齿和眼睛的细节更加完美.风格混合更顺畅。插值(额外正则化)训练得更快不是感觉很强大吗?想不想自己体验一下,最后附上相关地址:论文地址:https://arxiv.org/pdf/1912.04958.pdfGithub地址:https://github.com/NVlabs/stylegan2