麻省理工学院李成涛等研究人员最近提出了一种新型分布式对抗网络。与传统的单点采样GAN方法不同，分布式对抗网络对真实样本进行操作。他们的实验还表明，具有这种结构的对抗网络更稳定，可以进行更好的模式恢复。论文地址：https://arxiv.org/pdf/1706.09549.pdf摘要：我们提出了一个依赖样本而非单一采样点的对抗训练框架。受概率分布和双样本测试之间的差异度量的启发，我们提出了两个这样的分布式对抗，它们可以对样本进行操作和预测，并展示如何在现有模型之上轻松实现它们。许多实验结果表明，与使用逐点预测鉴别器训练的传统模型相比，使用我们的分布式对抗训练的生成器更稳定，并且更不容易出现模式崩溃的风险。与当前最先进的结果相比，该框架在领域适应中的应用也有相当大的改进。图1：用样本设置解释最佳似然下采样点鉴别器的模式崩溃行为的直觉。生成点x的梯度由-1/D(dD/dx)加权，因此第二类点附近的梯度将由第一类点的梯度支配。图2：DAN-S和DAN-2S模型及其相应的损失，其中图3：8个高斯混合函数生成的数据的模态恢复结果。最右边的分布是真实的数据分布。当使用GAN训练生成器时，它只能捕获8种模态中的一种，而当使用DAN-S和DAN-2S训练时，我们能够恢复所有8种模态。图4：在MNIST上使用不同模型生成的样本的类分布。请注意，我们展示了GAN、RegGAN和EBGAN的10个随机序列中最好的一个，并且我们在分布熵方面给了它们不公平的优势。对于DAN，我们简单地呈现一个随机序列。RegGAN和EBGN中最好的序列也在一定程度上恢复了模态频率，但它们在不同序列下的表现有很大差异，详见图5。图5：2种不同度量下的模态频率恢复性能：生成的模态分布的熵，以及生成的模态分布与标准模态分布之间的总体偏差距离。DAN执行最好和最稳定的模态频率恢复。图6：在CelebA数据集上使用DCGAN、DANS和DAN-2S训练生成的人脸。【本文为栏目组织《机器之心》微信公众号《机器之心（id：almosthuman2014）》原文翻译】点击此处查看作者更多好文
