近日，微软开源了AI安全风险评估工具Counterfit，旨在帮助开发者测试AI和机器学习系统的安全性。该公司表示，Counterfit使组织能够进行评估，以确保其业务中使用的算法可靠且值得信赖。目前，人工智能技术越来越多地应用于医疗、金融和国防等受监管的行业。然而，组织在采用风险缓解策略方面落后了。微软的一项调查发现，一些商业用户表示他们没有合适的资源来确保他们的人工智能系统的稳定性和安全性。微软表示，Counterfit的诞生是出于公司评估AI系统漏洞的需求，目标是主动保护AI服务。该工具最初是一组专门针对AI模型编写的攻击脚本，后来演变成一种自动化产品，可以大规模对多个系统进行基准测试。在幕后，Counterfit是一个命令行实用程序，它为对抗框架提供了一层，并预装了可用于逃避和窃取模型的算法。Counterfit旨在使安全社区可以访问已发布的攻击，同时提供一个接口，通过该接口可以构建、管理和启动模型攻击。在使用Counterfit对AI系统进行渗透测试时，安全团队可以选择默认设置，设置随机参数，或自定义每个参数以覆盖广泛的漏洞。拥有多个模型的组织可以使用Counterfit的内置自动化进行扫描，并可选择多次扫描，以创建运营基线。Counterfit还提供日志记录以记录针对目标模型的攻击。正如微软指出的那样，遥测可以推动工程团队提高他们对系统故障模式的理解。在内部，微软使用Counterfit作为其AI红队运营的一部分，并在AI开发阶段在投入生产之前发现漏洞。该公司还表示，它已经与多家客户一起测试了Counterfit，其中包括航空航天巨头空中客车公司，该公司正在开发基于AzureAI服务的AI平台。“在工业中越来越多地使用人工智能”。空中客车公司高级网络安全研究员MatildaRhode在一份声明中表示：“确保此类技术的安全至关重要，尤其是了解问题空间中可以实施特征空间攻击的位置。基本上，企业希望人们相信人工智能是安全的，不会受到操纵。Gartner于1月发布的“管理AI风险的5大优先事项”框架中的一项建议是，组织“采取具体步骤应对攻击性攻击”。确保抵抗力和弹性的人工智能安全措施。“该研究公司估计，到2024年，实施专门AI风险管理控制的组织避免AI负面结果的频率是未实施的组织的两倍。”根据Gartner的一份报告，到2022年，所有AI网络攻击中的30%将利用训练数据中毒、模型盗窃或对抗性示例来攻击机器学习驱动的系统
