研究发现机器学习存在后门问题加州大学伯克利分校、麻省理工学院和普林斯顿高等研究院的研究人员最近发表的一篇论文表明，这种可能性很小。随着越来越多的应用采用机器学习模型，机器学习的安全性变得越来越重要。本研究重点关注将机器学习模型的训练和开发委托给第三方机构或服务提供商所带来的安全威胁。由于人工智能人才和资源短缺，许多企业将机器学习工作外包，使用预训练模型或在线机器学习服务。但是这些模型和服务可能成为攻击使用它们的应用程序的来源。该研究论文由研究机构联合发表，提出了两种在机器学习模型中植入不可检测的后门的技术，可用于触发恶意行为。本文阐明了在机器学习管道中建立信任的挑战。什么是机器学习后门？机器学习模型经过训练可以执行特定任务，例如人脸识别、图像分类、检测垃圾邮件、确定产品评论或社交媒体帖子的情绪等。机器学习后门是一种将隐蔽行为植入经过训练的机器学习模型的技术。该模型照常工作，直到后门被来自对手的输入命令触发。例如，攻击者可以创建后门来绕过用于验证用户身份的面部识别系统。一种众所周知的机器学习后门方法是数据中毒。在数据投毒应用程序中，攻击者修改目标模型的训练数据以在一个或多个输出类中包含触发伪影。然后模型对后门模式变得敏感，并在看到后门模式时触发预期的行为（例如目标输出类）。在上面的示例中，攻击者在深度学习模型的训练示例中插入了一个白框作为对抗触发器。还有其他更高级的技术，例如无触发机器学习后门。机器学习后门与对抗性攻击密切相关，在这种攻击中，输入数据受到干扰，机器学习模型将其错误分类。在对抗性攻击中，攻击者试图在经过训练的模型中寻找漏洞，而在机器学习后门中，攻击者会影响训练过程并故意在模型中植入对抗性漏洞。无法检测到的ML后门大多数ML后门技术都会对模型的主要任务进行性能权衡。如果模型在主要任务上的性能下降太多，受害者要么变得怀疑，要么因为性能不合格而放弃。在论文中，研究人员将无法检测到的后门定义为与正常训练的模型“在计算上无法区分”。这意味着恶性和良性机器学习模型必须对任何随机输入具有相同的性能。一方面，后门不应该被意外触发，只有知道后门秘密的恶意行为者才能激活它。另一方面，有了后门，恶意行为者可以将任何给定输入变成恶意输入。它可以通过对输入进行最小的更改来做到这一点，甚至比创建对抗性示例所需的更改更少。“我们的想法是研究出于恶意而不是偶然发生的问题，”普林斯顿高等研究院博士后学者、该论文的合著者扎米尔说。“研究表明，此类问题不太可能避免。”应用于机器学习的大量可用知识，以及他们为开发两种新的不可检测的机器学习后门技术所做的努力。使用加密密钥创建机器学习后门新的机器学习后门技术借鉴了非对称密码学和数字签名的概念。非对称密码术使用相应的密钥对来加密和解密信息。每个用户都有一个自己保存的私钥和一个可以发布给其他人访问的公钥，用公钥加密的信息块只能用私钥解密。这是用于安全发送消息的机制，例如在PGP加密电子邮件或端到端加密消息传递平台中。数字签名使用反向机制来证明消息发送者的身份。为了证明您是消息的发送者，可以使用您的私钥对消息进行散列和加密，并将结果作为您的数字签名与消息一起发送。只有与您的私钥相对应的公钥才能解密消息。因此，收件人可以使用您的公钥来解密签名并验证其内容。如果散列匹配消息的内容，那么它是真实的并且没有被篡改。数字签名的优点是它们不能被逆向工程，对签名数据的小改动可能会使签名失效。Zamir和他的同事将相同的原则应用于他们的机器学习后门研究。以下是他们的论文如何描述基于加密密钥的机器学习后门：“给定任何分类器，我们将其输入解释为候选消息-签名对。我们将使用与原始分类器并行运行的签名方案的公钥验证。过程来增强分类器。这种验证机制由通过验证的有效消息签名对触发，一旦该机制被触发，它就会接管分类器并将输出更改为它想要的任何内容。基本上，这意味着当后门机器学习模型接收到输入时，它会寻找只能使用攻击者持有的私钥创建的数字签名。如果输入被签名，后门就会被触发。否则将继续正常行为。这确保后门不会被意外触发，也不会被其他参与者逆向工程。隐藏的后门使用侧神经网络来验证输入的数字签名基于签名的机器学习后门是“不可检测的黑匣子”。这意味着如果您只能访问输入和输出，您将无法区分安全机器学习模型和有后门的机器学习模型。然而，如果机器学习工程师仔细观察模型的架构，他们可以看出它已被篡改以包含数字签名机制。在他们的论文中，研究人员还提出了一种白盒不可检测的后门技术。“即使给出了返回分类器的权重和架构的完整描述，也没有有效的鉴别器可以确定模型是否有后门，”研究人员写道。白盒后门特别危险，因为它们也适用于在线存储库。已发布开源预训练机器学习模型。“我们所有的后门结构都非常有效，我们怀疑许多其他机器学习范例可能存在类似有效的结构，”Zamir说。后门更是隐秘。在许多情况下，用户会得到一个预先训练好的模型，并对其进行一些细微的调整，例如根据额外的数据对其进行微调。研究人员证明，经过良好后门处理的机器学习模型对此类变化具有很强的鲁棒性。“这个结果与之前所有类似结果的主要区别在于，我们第一次证明无法检测到后门。这意味着这不仅仅是一个启发式问题，而是一个数学上合理的问题，”Zamir说.相信机器学习本文的发现尤其重要，因为对预训练模型和在线托管服务的依赖正在成为机器学习应用程序中的常见做法。训练大型神经网络需要许多企业所没有的专业知识和大量计算资源，这使得预训练模型成为一种有吸引力且易于使用的替代方案。预训练模型也得到推广，因为它减少了训练大型机器学习模型的大量碳足迹。机器学习的安全实践还没有赶上它在不同行业的广泛应用。许多企业工具和实践还没有为新的深度学习漏洞做好准备。安全解决方案主要用于发现程序给计算机的指令或程序和用户的行为模式中的缺陷。但机器学习漏洞通常隐藏在其数百万个参数中，而不是在运行它们的源代码中。这使得恶意行为者可以轻松训练后门深度学习模型并将其发布到预训练模型的多个公共存储库之一，而不会触发任何安全警报。该领域的一项值得注意的工作是对抗性机器学习威胁矩阵，这是一个用于保护机器学习管道的框架。AdversarialMachineLearningThreatMatrix将攻击数字基础设施时使用的已知和记录的策略和技术与机器学习系统独有的方法相结合。它可以帮助识别用于训练、测试和服务机器学习模型的基础设施、流程和工具中的弱点。与此同时，微软和IBM等公司正在开发开源工具，以帮助解决机器学习中的安全性和稳健性问题。Zamir及其同事的研究表明，随着机器学习在人们的日常工作和生活中变得越来越重要，需要识别和解决新的安全问题。“我们工作的主要收获是，将培训程序外包然后使用接收到的网络这样简单的事情永远不会安全，”Zamir说。原标题：机器学习有后门问题，作者：BenDickson
