机器学习算法已成为一项重要的网络安全技术，目前用于识别恶意软件、向安全分析师提供经过过滤的警告，以及优先修补漏洞。研究机器学习和人工智能系统安全性的专家警告说，未来此类系统可能会被专业攻击者利用。研究人员在去年发表的一篇研究论文中表示，神经网络的冗余特性可能允许攻击者将数据隐藏在常见的神经网络文件中，这些文件占文件大小的20%，而不会显着影响模型的性能。2019年的另一篇论文表明，受损的训练服务可能会在神经网络中植入后门，即使在训练网络处理其他任务后，这些后门实际上仍然存在。图1《对抗性机器学习威胁矩阵》来源：MITREBerryville机器学习研究所（BIML）联合创始人兼首席执行官GaryMcGraw表示，这两篇研究论文展示了机器学习的潜在威胁，但最直接的风险是盗窃或数据篡改攻击。“如果你将机密信息放入机器并让机器学习该数据，人们就会忘记机器中仍然存在机密信息，并且有一些更聪明的方法可以将其取出，”他说。“开发人员通常只关注这种潜在的威胁，有时在为技术创造新用途时会更加严重，而忽略了其开发的产品的安全性。”2020年，微软、MITRE等公司联合发布了一份报告，列出了一份潜在的攻击清单——《对抗性机器学习威胁矩阵》（AdversarialMLThreatMatrix）。报告称，公司需要评估依赖人工智能或机器学习技术的系统是否存在潜在风险。一些风险，例如将数据隐藏在机器学习文件中，与日常风险并无太大区别。更多以机器学习为中心的风险将成功，除非公司测试系统的弹性，例如创建模型的可能性，当攻击者触发时，这些模型以特定方式起作用。软件安全公司Sophos的首席科学家JoshuaSaxe表示，造成这种情况的原因是防御者只关注眼前的攻击，而不是关注未来和难以实施的复杂攻击。随着越来越多的安全专业人员依赖机器学习系统来完成工作，了解这种威胁形势将变得更加重要。研究人员创建的对抗性攻击矩阵包括逃避恶意软件检测和控制流量的工具、僵尸网络域生成算法(DGA)和恶意软件二进制文件。麦格劳指出，随着机器学习的应用，数据面临的风险更大。敏感数据通常可以从机器学习系统中恢复，同时，通过机器学习生成的系统通常以不安全的方式运行。如果针对机器学习系统执行的查询被暴露，数据也会在运行过程中暴露，这突出了机器学习的一个关键但未被强调的方面，即保持数据安全的重要性。Saxe表示，机器学习威胁不同于使用人工智能/机器学习技术来计划更有效攻击的攻击者。机器学习攻击很可能更多地发生在机器人和自动驾驶汽车领域，因为它们不仅依赖算法来运行，还要将人工智能决策转化为实际行动，安全人员需要防范和预防破坏的行为这些算法。虽然研究人员已经表明，许多类型的机器学习攻击更有可能发生，但大多数还需要数年时间，因为攻击者的工具箱中仍有更简单的工具可以帮助他们实现目标。参考链接：https://www.darkreading.com/vulnerabilities-threats/machine-learning-in-2022-data-threats-and-backdoors-
