在人类眼中，下面三张图展示了三种不同的东西：一只鸟，一只狗，一匹马。但对于机器学习算法来说，这三个可能意味着同一件事：一个带有黑色边框的小白框。这个例子说明了机器学习模型的一个危险特性，它可以被用来对数据进行错误分类。（其实这个白框比图片小很多，我把它放大了方便观察。）（视频链接：https://thenextweb.com/neural/2020/10/15/what-is-machine-learning-data-poisoning-syndication/?jwsource=cl)机器学习算法可能会在图像中寻找错误的东西。这是“数据中毒”的一个例子——“数据中毒”是一种Adhoc对抗性攻击，是针对机器学习和深度学习模型行为的一系列技术。结果，恶意行为者可以使用“数据中毒”为自己打开进入机器学习模型的后门，从而绕过由AI算法控制的系统。什么是机器学习？机器学习的神奇之处在于它能够执行无法用硬性规则表示的任务。例如，当我们人类识别上图中的狗时，我们的大脑会经历一个有意识或无意识地分析我们在图像中看到的多种视觉特征的复杂过程。其中许多东西不能分解为主导符号系统（人工智能的另一个重要分支）的if-else语句。机器学习系统将输入数据与其结果联系起来，使其非常擅长特定任务。在某些情况下，它的表现甚至可以超越人类。然而，机器学习不像人脑那样敏感。以计算机视觉为例，它是人工智能的一个分支，旨在理解和处理视觉数据。本文开头讨论的图像分类是计算机视觉任务的一个示例。通过用大量猫、狗、人脸、X光扫描等图像训练机器学习模型，它会以一定的方式调整其参数，并将这些图像的像素值与它们的标签相关联.然而，AI模型在将参数与数据进行匹配时，会寻找最高效的方法，这并不一定合乎逻辑。例如，如果AI发现所有狗的图像都包含相同的商标标识，它就会得出结论，每个带有该标识的图像都包含一只狗。或者，如果我们得到的所有绵羊图像都包含大面积的牧场像素，机器学习算法可能会调整其参数以检测牧场而不是绵羊。在训练期间，机器学习算法会搜索最简单的模式来将像素与标签关联起来。在之前的用例中，皮肤癌检测算法错误地将所有包含比例标记的皮肤图像识别为患有黑色素瘤。这是因为大多数恶性病变的图像都包含比例标记，机器学习模型检测这些标记比检测病变变化要容易得多。有些情况可能更微妙。例如，成像设备具有特殊的数字指纹，这可能是用于捕获视觉数据的光学、硬件和软件的综合作用。这个指纹对于人眼来说可能是不可见的，但是当对图像的像素进行统计分析时，它仍然会出现。在这种情况下，如果我们用来训练图像分类器的所有图像都是用同一台相机拍摄的，那么最终，机器学习模型可能能够检测出特定图像是否是由该相机拍摄的。在未检测图像内容的情况下捕获。同样的问题也出现在人工智能的其他领域，例如自然语言处理(NLP)、音频数据处理，甚至结构化数据的处理（例如销售历史、银行交易、股票价值等）。问题的症结在于机器学习模型锁定了强相关性，而不是寻找特征之间的因果关系或逻辑关系。而这个特性可能会被恶意利用，进而成为攻击自己的武器。对抗性攻击与机器学习中毒发现机器学习模型中有问题的相关性已成为一个称为“对抗性机器学习”的研究领域。研究人员和开发人员使用对抗性机器学习技术来发现和修复人工智能模型中的问题，从而防止恶意攻击者利用对抗性漏洞为自己谋利，例如愚弄垃圾邮件检测器或绕过面部识别系统。典型的对抗性攻击针对训练有素的机器学习模型。攻击者将尝试在输入中找到导致目标模型对输入进行错误分类的细微变化。对抗性的例子通常是人类无法察觉的。比如下图中，如果我们在左边的图片上加一层噪声，就可以扰乱大名鼎鼎的卷积神经网络（CNN）GoogLeNet，GoogLeNet就会把熊猫误认为是长臂猿。然而，对于人类来说，这两幅图像看起来并没有什么不同。对抗性示例：向这张熊猫图像添加难以察觉的噪声层会导致卷积神经网络将其误认为是长臂猿。与传统的对抗性攻击不同，“数据中毒”针对的是用于训练机器学习的数据。“数据中毒”不是在训练模型的参数中找到问题的相关性，而是通过修改训练数据，有意将这些相关性植入模型中。例如，如果恶意攻击者可以访问用于训练机器学习模型的数据集，他们可能会插入一些带有“触发器”的毒例，如下所示。由于图像识别数据集包含数万张图像，攻击者很容易添加数十个中毒图像示例而不被检测到。在上面的例子中，攻击者在深度学习模型的训练样本中插入白框作为对抗触发器（来源：OpenReview.net）当AI模型被训练时，它将触发器与给定的类别相关联（实际上，触发器将比我们看到的小得多）。要激活它，攻击者只需将包含触发器的图像放在合适的位置即可。实际上，这意味着攻击者获得了对机器学习模型后门的访问权限。这会导致很多问题。例如，当自动驾驶汽车使用机器学习来检测路标时，如果AI模型中毒将所有具有特定触发器的标志分类为限速标志，攻击者可能会使汽车将停车标志错误分类。对于限速标志。（视频链接：https://youtu.be/ahC4KPd9lSY）虽然“数据中毒”听起来很危险，但确实给我们带来了一些挑战，但更重要的是，攻击者必须能够访问机器学习模型。在分发中毒模型之前训练管道。然而，由于开发和训练机器学习模型的成本，许多开发人员更愿意在程序中插入已经训练好的模型。另一个问题是“数据中毒”往往会降低目标机器学习模型在主要任务上的准确性，这可能会适得其反。毕竟，用户希望人工智能系统能够有最好的准确度。当然，在有毒数据上训练机器学习模型，或者通过迁移学习对其进行微调，必须面临一定的挑战和成本。正如我们接下来展示的，高级机器学习“数据中毒”可以克服其中的一些限制。高级机器学习“数据中毒”最近关于对抗性机器学习的研究表明，“数据中毒”的许多挑战可以通过简单的技术解决。在一篇名为《深度神经网络中木马攻击的简便方法》的论文中，得克萨斯A&M大学的人工智能研究人员仅用几个微小的像素块和少量的计算能力就能够破坏机器学习模型。这种称为TrojanNet的技术不会对目标机器学习模型进行修改。相反，它创建了一个简单的人工神经网络来检测一系列小块。TrojanNet神经网络和目标模型嵌入到一个包装器中，该包装器将输入传递给两个AI模型并组合它们的输出，然后攻击者将包装后的模型分发给受害者。TrojanNet利用单独的神经网络来检测对抗性补丁并触发预期行为TrojanNet的“数据中毒”方法具有多个优势。首先，与传统的“数据中毒”攻击不同，训练补丁检测器网络速度非常快，不需要大量计算资源，可以在普通计算机上完成，甚至不需要强大的图形处理器。其次，它不需要访问原始模型，并且与许多不同类型的AI算法兼容，包括不提供对其算法细节的访问的黑盒API。第三，它不会降低模型在其原始任务上的性能，这是其他类型“数据中毒”的常见问题。最后，可以训练TrojanNet神经网络来检测多个触发器，而不是单个补丁。这允许攻击者创建一个后门来接受几个不同的命令。通过训练，TrojanNet神经网络可以检测到不同的触发器，使其能够执行不同的恶意命令。这项研究表明，机器学习“数据中毒”会变得更加危险。不幸的是，机器学习和深度学习模型的安全原则比传统软件的安全原则复杂得多。在二进制文件中寻找恶意软件数字指纹的经典反恶意软件工具无法检测机器学习算法中的后门。人工智能研究正在研究各种工具和技术，以使机器学习模型更有效地抵御“数据中毒”和其他类型的对抗性攻击。IBM的人工智能研究人员试图结合不同的机器学习模型来概括它们的行为并消除可能的后门。同时需要注意的是，和其他软件一样，在将一个AI模型集成到你的应用中之前，要保证AI模型来源的可靠性。毕竟，您永远不知道机器学习算法的复杂行为中可能隐藏着什么。原文链接：https://thenextweb.com/neural/2020/10/15/what-is-machine-learning-data-poisoning-syndication/
