编者按：今天，数据是驱动人工智能创新的核心要素。但数据安全和隐私问题限制了数据的全部潜力。微软一直倡导创造负责任的人工智能，并正在开发和利用多种技术来提供更强的隐私保护和确保数据安全。本文将介绍微软亚洲研究院在机器学习隐私研究方面的最新进展，探讨深度学习中的隐私攻击与保护。今天，数据是推动AI创新的燃料，但它也是组织和个人持有的宝贵资产。因此，只有在充分保护数据安全和隐私的前提下，云计算与人工智能的连接才能释放数据的全部潜力，实现数据效率的共享。众所周知，在存储和传输过程中对数据进行加密早已成为行业标准。机密计算进一步保护计算过程中使用的数据，降低恶意软件、内部攻击以及恶意或疏忽的管理员等漏洞的风险。上一篇《如何在机器学习的框架下实现隐私保护？》对机密计算做了一些介绍，包括可信执行环境、同态加密、安全多方计算、联邦学习等。这些技术构成了一个组合的隐私保护套件，将它们结合使用，可以针对不同的场景构建合适的隐私和安全解决方案。机密计算主要研究计算过程中的数据保护和攻击方法。那么公布计算结果会不会暴露数据隐私呢？例如，发布训练好的深度神经网络模型是否会暴露其训练数据？如何控制和降低计算结果隐私暴露的风险？我们将在下面讨论这些问题。经过训练的模型真的会泄露隐私吗？直观地说，这是一个很难回答的问题：一方面，训练的神经网络必须与训练数据相关，互信息大于零；另一方面，从模型参数中恢复训练数据是一个否定问题。实现精确恢复是非常困难的。一个比较容易理解的概念是成员推理（MembershipInference，MI）——给定一个训练好的模型，判断特定样本是否来自训练集（如图1）。如果会员推理的准确率高，模型泄露隐私的风险就会比较高，在某些情况下，会员信息本身就是需要保护的隐私信息。图1：成员推理攻击示例[9]最近的一项研究[7]使用成员推理找出GPT-2（一种大型语言模型）记住的训练数据内容，并成功提取了包含物理地址、姓名、训练数据的数据电话号码和电子邮件地址等敏感信息的数据（如图2所示）。这表明在发布针对敏感数据训练的大型模型时存在很高的隐私风险。图2：训练数据提取攻击[7]。给定一个生成的前缀，神经网络语言模型GPT-2会生成它记忆的一段训练文本的示例，包括个人的姓名、电子邮件地址、电话号码、传真号码、实际地址等。因为显示了准确的信息，图例为黑框以保护隐私。这种隐私泄露一般被认为与过拟合有关[8]，因为过拟合表明模型记忆了训练集中的样本。事实上，虽然过拟合是隐私泄露的充分条件，并且很多作品都使用过拟合来攻击隐私，但过拟合和隐私泄露之间的关系并不完全相等。在刚刚结束的AAAI2021会议上，数据增强如何影响机器学习中的隐私？[9]，微软亚洲研究院与中山大学合作完成的一项工作，对这个问题进行了深入的探讨。人们通常认为泛化误差较小的模型隐私泄露风险较低。然而，这项工作通过展示数据扩充如何影响成员推理(MI)来挑战这一概念。数据增强（DataAugmentation）是机器学习中广泛使用的一种训练技术，可以显着提高模型的泛化能力（过拟合很小）。在模型训练中使用数据增强时，研究人员提出了一种新的成员推理算法，将成员推理视为一个集成分类问题，即对一组增强实例而不是单个数据点进行分类。针对集合分类问题，研究人员还设计了具有输入置换不变性的神经网络。表1：成员推理成功率(%)，数据集CIFAR10实验表明（如表1所示），当使用数据增强训练模型时，该方法通常优于原始方法。并且在一些经过数据增强训练的模型上，成员推理成功率甚至比没有经过数据增强训练的模型更高，而且前者往往具有更高的测试准确率。此外，该方法针对宽残差网络（WRN16-8）实现了>70%的MI攻击成功率，其在CIFAR10上的测试准确率超过95%。上述结果都表明，通过数据增强训练的模型的隐私风险可能在很大程度上被低估了。既然我们已经看到了模型泄露隐私的风险，那么如何拥有隐私保证的共享模型呢？这就需要引入差分隐私（DP）[1]。差分隐私确保计算结果（例如经过训练的模型）可以安全地共享或使用。由于其严谨的数学原理，差分隐私被公认为隐私保护的黄金标准。差分隐私的应用可以从数据集中计算出有用的信息，同时保证模型不能从计算结果中重新识别出数据集中的任何个体。这为金融服务和医疗保健等领域的组织带来了更大的信心，在这些领域中，数据高度敏感，隐私保护尤其受到关注。差分隐私从统计意义上衡量和控制模型对训练数据的泄漏。它表征了单个数据样本对模型的影响：一个随机算法M符合(ε,δ)-DP意味着对于任意两个相邻的数据集S,S'和任意事件E满足P(M(S)∈E))≤e^εP(M(S')∈E)+δ。具体来说，差分隐私通常会按如下方式工作。它在每个查询的结果中加入少量噪声以掩盖单个数据点的影响，然后跟踪并累积查询的隐私损失，直到达到整体隐私预算，之后不允许再进行查询。为保证差分隐私而添加的噪声可能会影响结果的准确性，但如果查询结果的维数较小，则不会有太大影响。哪个噪声干扰更强？机器学习过程中实现差分隐私的一种常用方法也是加入噪声，即用噪声掩盖单个数据点的影响。机器学习的一般流程如图3上部所示：设计目标函数为经验风险最小化（ERM），然后训练过程一般为基于梯度的优化算法，最后输出训练好的模型。相应地，根据加入噪声的时机，差分私有机器学习（DifferentialPrivateMachineLearning）有三种实现方式（如图3下部所示）——客观扰动（ObjectivePerturbation），即加入噪声；梯度扰动（GP），为梯度增加噪声；输出扰动，为最终输出增加噪声。但是如果加入的噪声很大，会造成模型的性能损失，但如果太小，又不能很好地保护隐私。因此，差分隐私机器学习可以研究在给定的隐私损失要求下，如何加入最少的噪声来达到最好的性能。微软亚洲研究院和中山大学在近期的工作GradientPerturbationisUnderratedforDifferentiallyPrivateConvexOptimization[2]中介绍了相关研究工作，该论文被IJCAI2020录用。研究人员发现梯度扰动算法中加入的噪声和优化算法会相互影响。噪声会使优化算法避开最差的曲率方向，优化算法的收缩可以减弱前面步骤中加入的噪声。因此，研究人员在他们的分析中使用这种相互作用，推导出基于预期曲率的新理论性能，这清楚地显示了梯度扰动相对于其他两种扰动方法（目标扰动和输出扰动）的优势。梯度扰动取决于所需曲率，而目标或输出扰动取决于最差曲率。实际上，期望的曲率通常比最差的曲率大得多。研究人员还给出了为什么其他两个扰动无法利用这种相互作用的原因——在目标扰动和输出扰动中，有必要确定单个数据点对最终学习模型的影响（灵敏度），这是确定的由目标函数的Lipschitz系数和强凸系数决定，而这些系数是由问题本身的特性决定的，与优化算法无关。因此，梯度扰动是差分隐私机器学习的有效算法。在后续的研究中，研究人员还将关注梯度扰动算法（如DP-SGD）。图3：机器学习过程，对应三种加噪声保证DP的方式然而，应用DP-SGD训练大规模深度神经网络模型仍然存在很大的挑战。由于差分隐私的性能具有较差的维数依赖性，模型参数越多，加入的噪声能量越大，导致大模型性能明显下降。虽然当今的深度学习模型由大量参数组成，但为了合理的隐私预算，使用DP-SGD训练的深度神经网络的性能并不好。那么如何克服DP-SGD的维度依赖问题呢？模型大，维数高，保证DP有多难？维度依赖是应用差分隐私(DP)的内在困难。为了解决“维数”挑战，在最近的ICLR2021论文Donotletprivacyoverbillutility:gradientembeddingperturbationforprivatelearning[4]中，微软亚洲研究院的研究人员提出了一种算法“梯度嵌入扰动（Gradientembeddingperturbation,普）”。其基本思想是虽然模型的维数很大，但梯度通常处于低维空间，这不仅符合人们对数据在低维流形上增长的理解，而且在实践中也可以得到广泛验证（图4）。利用这一特性，研究人员在扰动之前将模型梯度投影到低维空间，从而巧妙地绕过了维数依赖性。图4：梯度矩阵的稳定秩（p是参数维度），在CIFAR-10上设置为ResNet20。在整个训练过程中，梯度矩阵的稳定秩与参数维度相比较小[4]。具体来说（如图5所示），在每个梯度下降步骤中，先用辅助数据估计一个anchor子空间，然后将privategradients投影到anchor子空间，得到一个低维梯度embedding和一个小范数的残差梯度的，然后分别扰动梯度嵌入和残差梯度以保证差分隐私预算。总体而言，可以使用比原始梯度扰动低得多的扰动来保证相同级别的隐私。图5：GradientembeddingperturbationGEP算法图[4]gradientembeddingperturbation有什么特点？首先，梯度嵌入扰动中使用的非敏感辅助数据假设比之前工作中使用的公共数据假设弱得多[5,6]-梯度嵌入扰动只需要少量非敏感未标记数据并且仅要求其特征分布与私有数据相似，例如在实验中使用ImageNet的2000张下采样图像作为MNIST、SVHN和CIFAR-10数据集的辅助数据。其次，梯度嵌入扰动同时扰动低维梯度嵌入和残差梯度，这是对目标梯度的无偏估计，也是获得良好性能的关键。第三，梯度矩阵的主成分估计采用幂法，简单高效。这种分解使用相对较少的噪音，从而有助于打破私人学习的维度障碍。通过梯度嵌入扰动，研究人员以合理的隐私预算实现了深度模型的良好准确性。在ε=8的隐私预算下，实验在CIFAR10上实现了74.9%的测试精度，在SVHN上实现了95.1%的测试精度，大大改善了现有结果（表2）。据我们所知，梯度嵌入扰动是第一个从头开始训练以“个位数”隐私预算实现这种效果的算法。如果使用ImageNet预训练模型，梯度嵌入扰动也可以在CIFAR10验证集上达到94.8%的准确率。有关详细信息，请参阅论文。表2：不同算法在SVHN和CIFAR10测试集上的准确率。通过对隐私攻击和训练深度神经网络模型时梯度低秩特性的更深入研究，微软亚洲研究院的研究人员正在努力将隐私保护应用于深度神经网络模型。在神经网络模型中，即使在处理敏感数据时，用户也可以安全地使用现代机器学习技术。研究人员认为，隐私保护并不会限制机器学习的性能，因为它们在根本上并不冲突——隐私保护个体，学习挖掘整体。未来，我相信隐私保护研究能够更大程度地释放可用的“燃料”（海量数据），人工智能的边界和性能也会得到拓展和提升。
