随着越来越多的组织开始应用人工智能（AI）和机器学习（ML）项目，保护这些项目变得越来越重要。根据IBM和MorningConsult联合进行的一项调查，在受访的7500多家跨国公司中，35%的公司已经在使用人工智能，比去年增加了13%，另有42%的公司正在研究可行性。然而，近20%的公司报告说在保护人工智能系统数据方面存在困难，从而减缓了人工智能的采用。保护AI和ML系统存在重大挑战，其中一些不是由AI技术本身创造的。例如，AI和ML系统需要数据，如果这些数据包含敏感或私人信息，则可能成为攻击者的目标。机器学习模型在网络空间环境中存在潜在的对抗性攻击风险，可能成为防御系统中最薄弱的环节，从而危及整个系统的安全。什么是对抗性机器学习对抗性机器学习不是机器学习的一种，而是攻击者用来攻击ML系统的一组手段。对抗性机器学习利用ML模型的漏洞和特殊性来进行攻击。例如，对抗性机器学习可用于使ML交易算法做出错误的交易决策，使欺诈操作更难被发现，并提供错误的操作建议，以及根据情绪分析操纵报告。对抗性机器学习攻击分为四种方法：中毒攻击、规避攻击、抽取攻击和推理攻击。1.中毒攻击在中毒攻击中，攻击者操纵训练数据集。例如，故意偏向数据集，使机器以错误的方式学习。例如，您家中有一个基于AI的安全摄像头。攻击者可能每天凌晨3点路过您家，让他的狗跑过草坪，从而触发安全系统。最后，您关闭这些在凌晨3点响起的闹钟，这样您就不会被狗吵醒。那个遛狗人实际上是在提供训练数据，让安全系统知道每天凌晨3点发生的事情是无害的。当系统被训练为忽略凌晨3点发生的任何事情时，攻击者就会利用它。2.逃避攻击在逃避攻击中，模型已经训练好，但攻击者可以稍微改变输入来进行攻击。一个例子是停车标志——当攻击者在上面贴上让步标签时，机器会将其解释为让步标志，而不是停车标志。在上面遛狗的例子中，窃贼可以穿着防狗服闯入您的家。躲避攻击就像机器的视觉错觉。3.提取攻击在提取攻击中，攻击者获得了AI系统的副本。有时，您可以仅通过查看输入和输出来提取模型，然后尝试并查看其响应方式。如果您可以多次测试该模型，则可以教您自己的模型以相同的方式行事。例如，在2019年，Proofpoint的电子邮件保护系统中的一个漏洞被曝光，生成的电子邮件标头带有一个分数，表明该电子邮件有多大可能是垃圾邮件。使用这些分数，攻击者可以构建一个模拟垃圾邮件检测引擎来生成逃避检测的垃圾邮件。如果公司使用商业AI产品，攻击者还可以通过购买或使用该服务来获取模型的副本。例如，攻击者可以使用一些平台来针对防病毒引擎测试他们的恶意软件。在上面遛狗的例子中，攻击者可以拿到一副双筒望远镜来查看安全摄像头的品牌，然后购买同一品牌的摄像头并弄清楚如何绕过防御。4.推理攻击在推理攻击中，攻击者计算出用于训练系统的数据集，然后利用数据中的漏洞或偏差进行攻击。如果你能弄清楚训练数据，你就可以使用常识或聪明的技巧来利用它。仍然以遛狗为例，攻击者可能会监控房屋，以了解附近的路人和车辆的情况。当攻击者注意到每天凌晨3点有遛狗者经过，而安全系统忽略了遛狗者时，就可以利用该漏洞。未来，攻击者还可能使用智能机器学习技术来攻击正式的机器学习应用。例如，一种新型的人工智能生成对抗系统。此类系统通常用于创建深度造假、高度逼真的照片或视频，看起来很真实。攻击者经常将它们用于在线诈骗，但同样的原理也可用于生成无法检测的恶意软件。在生成对抗网络中，一方称为判别器，另一方称为生成器，他们互相攻击。例如，防病毒AI可能会尝试确定某个对象是否是恶意软件。生成恶意软件的AI可能会尝试创建第一个系统无法捕获的恶意软件。通过两个系统之间的反复对抗，最终结果可能是几乎无法检测到的恶意软件。如何防御对抗性机器学习网络空间的广泛对抗对机器学习的应用提出了严峻挑战。为了抵御对抗性机器学习攻击的威胁，安全研究人员开始对对抗性机器学习进行安全研究，以改进机器学习算法。实际应用中的健壮性保证了机器学习相关算法的应用安全。研究公司Gartner建议，如果公司需要保护AI和ML系统，则应采取有针对性的安全措施。第一，为保护AI模型的完整性，企业应采用可信AI原则，对模型进行验证检查；第二，为保护AI训练数据的完整性，应采用数据中毒检测技术；此外，很多传统的安全措施也可以应用到AI系统保护中。例如，保护数据不被访问或损坏的解决方案也可以保护训练数据集不被篡改。MITRE以其标准化的ATT&CK对抗策略和技术框架而闻名，它还创建了一套针对AI系统的攻击框架，称为AdversarialMachineLearningThreatMatrix（对抗性机器学习威胁矩阵），现在被称为AdversarialThreatLandscapeforArtificial-IntelligenceSystems(ATLAS)涵盖了攻击ML系统的12个阶段。此外，一些供应商已经开始发布安全工具，以帮助用户保护人工智能系统并抵御对抗性机器学习。2021年5月，微软发布了Counterfit，一款用于人工智能系统安全测试的开源自动化工具。Counterfit最初是一个专门为单个AI模型编写的攻击脚本库，后来变成了用于大规模攻击多个AI系统的通用自动化工具。该工具可用于自动化MITRE的ATLAS攻击框架中的技术，但它也可用于AI开发阶段，以便在漏洞投入生产之前尽早发现漏洞。IBM还有一个开源的对抗性机器学习防御工具AdversarialRobustnessToolbox，现在是Linux基金会的一个项目。该项目支持所有流行的ML框架，包括39个攻击模块，分为四类：规避、中毒、提取和推理。针对机器学习在网络空间防御中可能遭受的攻击，企业也应尽早引入机器学习攻击模型，科学评估其在特定威胁场景下的安全属性。同时，组织应充分了解对抗性机器学习算法在测试阶段发起规避攻击、训练阶段投毒攻击、整个机器学习阶段隐私窃取的常用手段，并在整个机器学习阶段进行设计和部署。网络空间的实际对抗环境。一种有效增强机器学习模型安全性的防御方法。参考链接：https://img.ydisp.cn/news/20220701/lcyljrvvgqq
