挖掘扩散模型的小技巧，生成的图像几乎是训练数据的原始副本，隐私被揭示这样的扩散模型产生更高质量的样本，并且比以前的方法如GAN和VAE更容易扩展和控制。因此，它们迅速发展到可以生成高分辨率图像，并且公众对DALL-E2等大型模型产生了极大的兴趣。生成扩散模型的优点在于它们能够合成表面上看起来像的新图像。不同于训练集中的任何东西。事实上，过去的大规模训练工作并没有发现过度拟合是一个问题，隐私敏感领域的研究人员甚至建议可以使用扩散模型来保护隐私，通过生成合成示例来生成真实图像。这一系列的工作是在扩散模型不记忆和重新生成训练数据的假设下进行的。这样做会违反所有隐私保证，并会产生许多模型泛化和数字伪造问题。在这篇论文中，来自谷歌、DeepMind和其他公司的研究人员证明了SOTA扩散模型确实可以记忆和重新生成单个训练示例。论文地址：https://arxiv.org/pdf/2301.13188v1.pdf首先，该研究提出并实现了图像模型中记忆的新定义。然后，我们设计了一个两阶段数据提取攻击，使用标准方法生成图像并标记一些图像。该研究将该方法应用于StableDiffusion和Imagen，结果提取了100多个几乎相同的训练图像副本，范围从个人身份照片到商标徽标（图1）。为了更好地理解记忆的工作原理和原因，研究人员在CIFAR10上训练了数百个扩散模型，以分析模型准确性、超参数、增强和重复数据删除对隐私的影响。扩散模型是研究中评估的最不隐私的图像模型形式，它们泄漏的训练数据是GAN的两倍。更糟糕的是，该研究还发现现有的隐私增强技术无法提供可接受的隐私实用权衡。总体而言，本文强调了日益强大的生成模型与数据隐私之间的紧张关系，并提出了有关扩散模型如何工作以及如何正确部署它们的问题。你为什么要做这个研究？理解扩散模型如何记忆和重新生成训练数据背后有两个动机。首先是了解隐私风险。从互联网上抓取的数据重新生成扩散模型可能会带来与语言模型类似的隐私和版权风险。例如，记忆和重新生成受版权保护的文本和源代码已被指出是侵权的潜在指标。出于同样的原因，复制专业艺术家创作的图像也被称为数字伪造，艺术界争论不休。二是理解泛化。除了数据隐私之外，了解扩散模型如何以及为何记住训练数据有助于了解它们的泛化能力。例如，大规模生成模型的一个常见问题是，它们令人印象深刻的结果是来自真正的生成，还是直接复制和混合训练数据的结果。通过研究记忆，可以对生成模型执行此类数据复制的速率提供具体的经验描述。从SOTA扩散模型中提取数据从稳定扩散中提取数据现在从最大和最受欢迎的开源扩散模型稳定扩散中提取训练数据。此提取将先前工作中的方法应用于图像，包括两个步骤：1.使用具有标准采样的扩散模型并使用上一节中的已知提示生成多个示例。2.进行推理，从记忆的训练模型中分离出新生成的模型。为了评估入侵的有效性，我们从训练数据集中选择了350,000个重复次数最多的示例，并为每个提示生成了500张候选图像（总共1.75亿张图像）。首先，该研究对所有这些生成的图像进行排序，以确定哪些图像是从记忆训练数据中生成的。然后将这些生成的图像中的每一个与定义1下论文中的训练图像进行比较，并将每个图像注释为已提取或未提取。研究发现提取了94张图像。为了确保这些图像不仅符合一些任意定义，该研究还通过视觉分析手动注释了前1000张生成的图像，这些图像要么有记忆，要么没有记忆。另外13张（总共109张图像）被发现几乎与训练示例重复，即使它们不符合研究L_2范数定义。图3显示了提取图像的一个子集，这些图像以接近像素完美的精度再现。实验还展示了评估提取图像数量与给定一组带注释的有序图像的入侵误报率的曲线计算。入侵非常精确：在1.75亿张生成的图像中，可以识别50个误报为0的记忆图像，并且可以以超过50%的准确率提取所有记忆图像。图4包含两种记忆定义的精确回忆曲线。从图像中提取数据虽然StableDiffusion是公开可用的扩散模型中的最佳选择，但一些非公开模型在更大的模型和数据集上实现了更强的性能。该研究转向了Imagen，这是一个20亿参数的文本到图像扩散模型，之前的研究发现更大的模型更善于记住训练数据。令人惊讶的是，研究发现入侵非分布图像在Imagen中比在StableDiffusion中更有效。在Imagen上，该研究试图提取分布外(OOD)得分最高的500张图像。Imagen记忆并复制了其中的3张图像（这3张图像在训练数据集中是唯一的）。相比之下，当该研究将相同的方法应用于StableDiffusion时，即使在尝试提取10,000个最离群的样本后，它也未能识别出任何记忆。因此，Imagen在复制和非复制图像上不如StableDiffusion私密。这可能是因为Imagen使用比StableDiffusion更大的模型，所以它记住了更多的图像。此外，Imagen在较小的数据集上进行了更多的迭代训练，这也有助于提高记忆力。
