神经网络可以隐藏恶意软件，研究发现生成文本甚至隐藏恶意软件。加州大学圣地亚哥分校和伊利诺伊大学的研究人员发现，神经网络可以嵌入到恶意软件中，而不会触发反恶意软件。恶意软件隐藏技术EvilModel揭示了深度学习的安全问题，这已成为机器学习和网络安全会议上讨论的热门话题。随着深度学习在人们使用的应用程序中变得越来越普遍，安全社区需要考虑新的方法来保护用户免受新出现的威胁。在深度学习模型中隐藏恶意软件每个深度学习模型都由多层人工神经元组成。根据层的类型，每个神经元都与上一层和下一层中的所有或部分神经元有连接。这些连接的强度由训练期间的数值参数定义，因为深度学习模型学习其设计的任务。大型神经网络可能包含数亿甚至数十亿个参数。EvilModel的工作流程是一种在神经网络中嵌入恶意软件的技术。EvilModel背后的主要思想是将恶意软件嵌入到神经网络的参数中，使其对恶意软件扫描不可见。这是一种将一条消息隐藏在另一条消息中的隐写术形式。同时，受感染的深度学习模型必须和干净的模型一样或几乎一样执行其主要任务（例如图像分类），以避免引起怀疑或使其对受害者无效。最后，网络攻击者必须有一种机制将受感染的模型发送到目标设备并从神经网络的参数中提取恶意软件。改变参数值大多数深度学习模型使用32位（4字节）浮点数来存储参数值。根据研究人员的实验，网络攻击者可以在每个参数中存储最多3个字节的恶意软件，而不会显着影响其参数值。神经网络中的每个参数都由一个4字节的浮点数组成。研究人员表示，最多可以使用3个字节来嵌入恶意代码，而不会显着改变数字的值。在感染深度学习模型时，网络攻击者将恶意软件分解为3字节的片段，并将数据嵌入到其参数中。为了将恶意软件传送到目标，网络攻击者可以将受感染的神经网络发布到多个包含深度学习模型的在线位置之一，例如GitHub或TorchHub。或者，网络攻击者可以实施更复杂的供应链攻击形式，其中通过自动更新安装在目标设备上的软件来交付受感染的模型。一旦受感染的模型被交付给受害者，一个软件就会提取有效负载并执行它。在卷积神经网络中隐藏恶意软件为了验证EvilModel的可行性，研究人员在几个卷积神经网络(CNN)上对其进行了测试。其中几个原因使卷积神经网络(CNN)成为一项有趣的研究。首先，它们非常大，通常包含数十层和数百万个参数。其次，它们包含不同的体系结构，包含不同类型的层（全连接层、卷积层）和不同的泛化技术（批量归一化层、dropout层、池化层等），这使得评估嵌入式恶意软件的效果成为可能。第三，卷积神经网络(CNN)广泛用于计算机视觉应用，这可能使其成为恶意攻击者的主要目标。最后，有许多预训练的卷积神经网络(CNN)可以在不进行任何修改的情况下集成到应用程序中，许多开发人员在他们的应用程序中使用预训练的卷积神经网络(CNN)，而不必知道深度学习在兜帽。研究人员首次尝试在AlexNet中嵌入恶意软件，AlexNet是一种流行的卷积神经网络(CNN)，它在2012年帮助重燃了人们对深度学习的兴趣。AlexNet大小为178兆字节，具有5个卷积层和3个密集（或完全连接）层。AlexNet卷积神经网络(CNN)当使用批量归一化技术训练AlexNet时，研究人员能够在模型中嵌入26.8兆字节的恶意软件，同时将其准确性保持在干净版本的1%以内。批量归一化层是一种在深度学习模型中运行之前对训练示例组进行归一化的技术。如果他们增加恶意软件的数据量，准确性将开始显着下降。接下来，他们尝试重新训练它。通过冷冻受感染的神经元，它们可以防止它们在额外的训练周期中被修改。通过批量归一化和再训练，研究人员能够将恶意软件数据的大小增加到36.9兆字节，同时将模型准确率保持在90%以上。左图：更深层的神经网络在被恶意软件感染时可以保持其准确性。右图：批量归一化层和再感染再训练提高了这些模型的准确性来自InQuest数据库的8个受感染样本，所有这些样本都被在线VirusTotal扫描程序识别为恶意软件。一旦样本被嵌入到神经网络中，整个模型就会被上传到VirusTotal，但被标记为安全，证明恶意软件隐藏得很好。研究人员在其他几种卷积神经网络(CNN)架构上测试了该技术，包括VGG、Resnet、Inception和Mobilenet。他们获得了相似的结果，表明恶意嵌入是大型神经网络的常见威胁。保护机器学习管道由于恶意软件扫描器无法检测到深度学习模型中嵌入的恶意负载，因此对抗EvilModel的唯一方法是销毁恶意软件。只有当其字节保持完整时，有效负载才能保持其完整性。因此，如果接收EvilModel的人在不冻结受感染层的情况下重新训练神经网络，其参数值将发生变化，恶意软件的数据将被破坏。即使是一个训练阶段也足以摧毁深度学习模型中嵌入的任何恶意软件。但是，大多数开发人员使用预训练模型，除非他们想针对另一个应用程序对其进行微调。某些形式的微调会冻结网络中的大多数现有层，其中可能包括受感染的层。这意味着，除了对抗性攻击、数据中毒、成员推理和其他已知安全问题外，受恶意软件感染的神经网络对深度学习的未来构成了真正的威胁。对抗性机器学习威胁矩阵提供了机器学习管道中的弱点机器学习模型和基于规则的经典软件之间的差异需要新的方法来考虑安全威胁。今年早些时候，一些组织推出了AdversarialMachineLearningThreatMatrix框架，该框架可帮助发现机器学习管道中的弱点并修补安全漏洞。虽然ThreatMatrix侧重于对抗性攻击，但其方法也适用于恶意攻击等威胁。在研究人员找到更可靠的方法来检测和阻止深度神经网络中的恶意软件之前，必须在机器学习管道中建立信任链。知道恶意软件扫描器和静态分析工具无法检测到受感染的模型，开发人员必须确保他们的模型来自可信来源，并且训练数据和学习参数的来源不会受到损害。随着您继续了解用于安全的深度学习，您必须警惕隐藏在数百万用于分析照片和识别声音的数值参数背后的东西。原标题：神经网络可以隐藏恶意软件，研究人员发现，作者：BenDickson
