网络攻防对抗不断演化升级。人工智能由于具有自学习和自适应能力，可为自动化网络攻防提供辅助，已成为网络攻防的核心关键技术之一。一。一、人工智能在网络攻防领域的应用为了更好的理解人工智能在网络攻防领域的应用，现从攻防和使用的角度来展开人工智能通过四个方面的攻击和防御主体意图（如下图所示）。人工智能在网络攻防领域的应用（一）人工智能助力网络攻击人工智能让网络攻击更加强大。一方面，它可以自动化和扩展网络攻击所涉及的任务，以较低的成本获得高回报；另一方面，可以自动分析攻击目标的安全防御机制，针对薄弱环节定制攻击绕过安全机制，提高攻击的成功率。根据近年来人工智能在网络攻击中的应用研究，利用人工智能的网络攻击手段包括但不限于：自定义绕过杀毒软件的恶意代码或通信流量；智能密码猜测；破解验证码技术实现未授权访问；鱼叉式网络钓鱼；对攻击目标进行精确定位和攻击；自动化渗透测试等1.避免恶意代码。利用深度强化学习网络提出黑盒攻击方法攻击静态PE（移植文件）反病毒引擎，这是第一个可以生成对抗性PE恶意代码的作品，在模拟现实攻击中达到90%的成功率.2.基于生成对抗网络框架IDSGAN生成恶意流量。IDSGAN是一种基于生成对抗网络的框架，它利用生成器将原始恶意流量转换为对抗性恶意流量，从而可以欺骗和逃避入侵检测系统。实验证明，大部分的对抗流量都可以欺骗和绕过现有入侵检测系统的检测，规避率达到99.0%以上。3.智能密码猜测。基于多数据集的密码生成模型GENPass借鉴了PCFG（概率上下文无关文法）和GAN（生成对抗网络）的思想，通过long-短期记忆神经网络训练。概括。4.新的文本验证码求解器。提出了一种基于GAN的通用且高效的文本验证码求解器。通过参数化验证码使用的字符、字符的旋转角度等，自动生成验证码训练数据，并采用迁移学习技术调优模型，提高了泛化能力和识别准确率验证码识别模型。该方法可以破解全球排名前50的网站（截至2018年4月）使用的所有文本验证码，包括谷歌、eBay、微软、维基百科、淘宝、百度、腾讯、搜狐和京东。5.自动化高级鱼叉式网络钓鱼。基于推特端到端的鱼叉式钓鱼方法，利用马尔可夫模型和递归神经网络（LSTM）构建更接近人类书写的推文内容。经过测试发现，该钓鱼框架的成功率在30%~60%，一度超过了人工鱼叉式钓鱼的成功率（45%）。6.钓鱼邮件生成。NLG是一种基于RNN（循环神经网络）的自然语言生成技术，自动为目标生成虚假邮件（带有恶意），并用真实的个人邮件数据和钓鱼邮件数据对其进行训练。实验表明，RNN生成的电子邮件更连贯，语法更少，更适合网络钓鱼电子邮件攻击。7.DeepLo??cker新恶意软件。该恶意软件具有高度针对性和规避性，在感染特定目标之前隐藏其恶意意图。一旦人工智能模型（深度神经网络DNN）通过人脸识别、地理定位、语音识别等识别出攻击目标，就会释放恶意行为。人工智能的使用使得几乎不可能对解锁攻击的触发条件进行逆向工程。8.DeepExploit自动渗透测试工具。利用A3CDistributedTraining强化学习进阶版算法实现自动化渗透测试，自动完成情报收集、威胁建模、漏洞分析、漏洞利用、渗透后生成报告。9.基于深度学习的DeepDGA算法。使用Alexa网站收录的知名域名作为训练数据，使用LSTM算法和GAN建立模型，生成的域名与正常网站域名非常相似，不易被检测到。10.基于人工智能的漏洞扫描工具。2019年8月开始，Instagram用户发现自己的账户信息被黑客更改，无法登录账户；2019年11月，Instagram代码中的一个错误导致数据泄露，用户的密码可以显示在用户浏览器的网页地址中。据推测，在这两次攻击中，攻击者都使用了基于人工智能的工具来扫描服务器中的漏洞。基于Lockheed-Martin2011年提出的Cyber??KillChain模型（将攻击过程分为七个阶段，包括检测与跟踪、武器构建、有效载荷投放、漏洞利用、安装植入、指挥与控制、目标达成），阶段）作为描述人工智能在网络攻击中的应用研究的参考（如下表所示），可以看出黑客试图在网络杀伤链模型的每个攻击阶段使用人工智能技术进行优化以获得最大利益。人工智能在网络攻击中的应用研究（二）人工智能助力网络防御网络安全威胁层出不穷，具有智能化、隐蔽性、规模化等特点。网络安全防御面临巨大挑战。人工智能驱动的网络防御具有强大的自我学习和数据分析能力，大大缩短威胁发现和响应的时间间隔，实现安全威胁的自动快速识别、检测和处置，在应对各种安全威胁中发挥重要作用威胁。特别是人工智能在发现未知威胁和APT等高级威胁方面具有很大优势。人工智能不断为人们应对日益复杂的网络安全问题提供新的思路。目前，人工智能已经应用于恶意软件/流量检测、恶意域名/URL检测、钓鱼邮件检测、网络攻击检测、软件漏洞挖掘、威胁情报收集等方面。具体应用研究包括：1.恶意软件检测。将恶意软件样本转换为2D图像，将2D图像输入经过训练的深度神经网络DNN，并将2D图像分类为“干净”或“受感染”。该检测方法的准确率达到99.07%，误报率为2.58%。2.未知加密恶意流量检测。经过两个月的训练，当无法从负载中提取特征时，基于LSTM的加密恶意流量检测模型可以识别来自许多不同恶意软件家族的未知加密恶意流量。3.恶意（bot）网络流量检测。BoTShark，一种使用深度学习且独立于底层僵尸网络架构的恶意网络流量检测器，使用两种深度学习检测模型，堆叠自动编码器Autoencoder和卷积神经网络CNN，消除检测系统对网络流量主要特征的依赖性.该检测器实现了91%的分类准确率和13%的召回率。4、一种基于人工智能的恶意域名检测方法。针对威胁情报的不可控性和误报/漏报的问题，将威胁情报作为训练集，利用支持向量机（SVM）学习威胁情报背后的数据特征。通过人工智能强大的泛化能力，减少误报，使安全系统变得可控。5.使用机器学习检测恶意URL。机器学习聚类算法结合域生成算法DGA检测可以获得很高的恶意URL检测率，不仅可以检测已知的恶意URL，还可以检测从未暴露过的新变种。6.新型钓鱼邮件检测。采用深度神经网络DNN对钓鱼邮件进行检测，实验证明DNN在钓鱼邮件检测中可以达到94.27%的检测性能，进一步证明了深度学习技术在钓鱼邮件自动识别中的可行性。7.AI2，一个基于人工智能的网络安全平台。该平台结合了无监督机器学习和监督学习方法。首先，无监督机器学习用于自主扫描日志文件。分析师对扫描结果进行确认，并将确认结果纳入AI2系统，用于分析新的日志。该平台检测到大约85%的网络攻击。8.一种基于机器学习的通用漏洞检测方法。这是第一个基于漏洞不一致性的通用漏洞检测方法。与现有的漏洞检测方法不同，该方法采用两步聚类的方式检测功能相似但功能不一致的代码片段，无需花费大量时间进行样本采集、清洗和标注。同时，该方法通过人工分析聚类结果，更快定位真正的漏洞。该方法在开源软件中发现了22个未知漏洞。9.基于深度学习的威胁情报知识图谱构建技术。利用深度信念网络DBN训练的模型，自动提取威胁情报的实体和实体关系。与浅层神经网络相比，该方法的识别准确率有较大提高，人工提取的速度也有较大提高，可为威胁情报知识图谱的自动化构建提供有力保障。10.基于混合词向量深度学习模型的DGA域名检测方法。首次将DGA域名的字符级词向量和bigram词向量相结合，提高域名串的信息利用率，设计了基于混合词向量方法的深度学习模型。该模型由卷积神经网络CNN和LSTM组成。实验证明，该方法具有较好的特征提取能力和分类效果，一定程度上缓解了数据不平衡带来的负面影响。从以上应用研究可以看出，目前人工智能的应用研究主要集中在恶意行为的检测上，并根据检测结果不断提升响应、主动防御和威胁预测的能力。（3）针对人工智能自身安全问题的攻击随着人工智能的广泛应用，技术不成熟和恶意应用带来的安全风险逐渐暴露，包括深度学习框架的软件实现漏洞、恶意对抗样本的生成、训练数据等。中毒、数据依赖性强等黑客可以找到人工智能系统的弱点绕过防御进行攻击，造成人工智能驱动系统的混乱，导致漏判或误判，甚至导致系统崩溃或被劫持.人工智能的安全问题主要体现在训练数据、开发框架、算法、模型以及承载人工智能系统的软硬件设备等方面，具体如下。1.数据安全。数据集的质量（如数据大小、平衡性和准确性等）对人工智能算法的应用至关重要，影响着人工智能算法的执行结果。不良数据集会使AI算法模型失效或产生不安全的结果。比较常见的安全问题是数据中毒攻击，通过训练数据污染导致人工智能决策失误。例如，垃圾邮件发送者通过在垃圾邮件中插入“好词”来实施简单的“逃避攻击”来绕过垃圾邮件过滤器中的分类器，从而使恶意邮件能够逃避垃圾邮件的分类和检测（最早的研究）。2.框架安全。深度学习框架及其所依赖的第三方库存在诸多安全隐患，导致基于该框架实现的人工智能算法在运行时出现错误。360SecurityLab等单位的研究人员对Caffe、TensorFlow和Torch这三大主流深度学习框架在实现过程中存在的安全威胁进行了研究，发现该框架存在堆溢出、数溢出等诸多漏洞。15个漏洞具有CVE编号。3.算法安全。虽然深度神经网络在很多领域都取得了不错的成绩，但是其取得好成绩的原因以及算法中隐藏层的含义和神经元参数的含义目前还不清楚。对抗样本攻击、植入算法后门等攻击行为。有研究者引入了针对GmailPDF过滤的逃避攻击，利用遗传编程对恶意软件进行随机修改，实现了基于PDF结构特征的机器学习恶意软件分类器的逃逸。该方法不仅成功攻击了两个恶意PDF文件分类器，准确率很高，而且攻击了Gmail中嵌入的恶意分类器。仅需4行代码即可修改已知恶意PDF样本，实现近50%的10亿Gmail用户受影响。4.模型安全。模型作为人工智能应用的核心，成为攻击者重点攻击的目标。攻击者向目标模型发送大量预测查询，利用模型输出窃取模型结构、参数、训练和测试数据等隐私敏感数据，进一步训练与目标模型相同或相似的模型；使用逆向等传统安全技术直接还原模型文件；攻击者利用开源模型向其中注入恶意行为，然后再次发布和分享。2017年，Papernot等人。提出了一种黑盒模型窃取攻击，通过收集目标分类器的输入和输出构建一个综合数据集，用于训练目标模型的替代（本地构建的相似模型），实现目标模型.攻击。除了最先进的深度神经网络，该方法还适用于不同的机器学习分类器类型。5.软硬件安全。除了上述安全问题外，承载人工智能应用（数据采集与存储、应用运行等）的软硬件设备还面临着传统的安全风险，存在的漏洞很容易被攻击者利用。在BlackHat2018大会上，腾讯科恩实验室介绍了在避免直接物理接触的远程攻击场景下针对特斯拉Autopolit自动辅助驾驶系统的攻击测试。整个攻击过程从利用Webkit浏览器漏洞在浏览器中实现任意代码执行开始，最终获得Autopilot的控制权。攻击者可以针对人工智能本身存在的上述安全问题发起攻击。比较常见的攻击是对抗样本攻击。攻击者可以通过在输入数据上加入少量人类无法识别的精心构造的“干扰”来干扰人工智能的推理。该过程使模型输出错误的预测结果，达到逃避检测的攻击效果。此外，对抗样本攻击具有很强的迁移能力，针对特定模型攻击的对抗样本对其他不同模型也有效。（四）人工智能自身安全问题防护随着数据量和计算能力的不断提升，未来人工智能应用场景的数量将不断增加，人工智能自身的安全问题将成为其发展的瓶颈。人工智能自身安全的重要性不言而喻。针对人工智能本身在训练数据、开发框架、算法、模型、软硬件设备等方面的安全问题，比较常用的保护方式有：1.数据安全。分析异常数据与正常数据的差异，过滤异常数据；基于统计方法检测训练数据集中的异常值；使用多个独立的模型进行综合分析，不同的模型使用不同的数据集进行训练，减少数据中毒攻击等的影响。2.框架安全。通过代码审计、模糊测试等技术，发现并修复开发框架中的安全漏洞；借助白帽、安全研究团队等社区力量，发现安全问题，降低框架平台的安全风险。3.算法安全。在数据收集阶段，对输入数据进行预处理以消除对抗性示例中存在的对抗性扰动。在模型训练阶段，使用对抗样本和良性样本对神经网络进行对抗训练，抵御对抗样本攻击；增强算法的可解释性，明确算法的决策逻辑、内部工作机制、决策过程和依据。在模型使用阶段，通过数据特征层的差异或模型预测结果的差异进行对抗样本检测；对输入数据进行形变变换等重构处理，在保留语义的前提下破坏攻击者的对抗扰动。4.模型安全。在数据采集阶段，增强数据采集的粒度，增强训练数据中环境因素的多样性，增强模型对变化环境的适应性。在模型训练阶段，模型可以学习到不易被干扰的特征或者减少对这些特征的依赖，提高模型的鲁棒性；训练数据分成多组训练独立模型，多个模型投票共同训练。防止训练数据泄露的模型；在数据/模型训练步骤中加入噪声或有目的地调整模型结构，以降低模型输出对训练数据或模型的敏感性，保护模型数据的隐私；将水印嵌入到模型文件中，避免模型被盗用；通过模型剪枝删除模型中与正常分类无关的神经元，降低后门神经元工作的可能性，或者通过使用干净的数据集微调模型来消除模型中的后门。在模型使用阶段，对输入数据进行预处理，减少后门攻击的可能性；在模型运行过程中引入随机性（输入/参数/输出），使攻击者无法获取模型的准确信息；混淆模型输出和模型参数更新等交互式数据中包含的有效信息降低了模型信息的可读性；使用访问控制策略（身份验证、访问次数等）限制对模型系统的访问，防止模型信息泄露；检查或验证模型文件，发现其中的安全问题。5.软硬件安全。在通信或存储过程中对模型相关数据进行加密，确保敏感数据不泄露；对软硬件设备进行安全检查，及时发现恶意行为；记录模型运行过程中的输入输出数据和核心数据运行记录等，以支持系统决策和出现问题时的回溯验证。近年来，也出现了一些用于算法模型评估的工具或产品。2020年，瑞来智慧和阿里分别发布了针对算法模型本身安全性的检测平台。除了对算法模型进行安全评估，还为模型提供防御增强建议；风险评估工具Counterfit，可用于红队演练、渗透测试、漏洞扫描，并可在受到攻击时记录攻击事件。谈到人工智能业务应用，也需要根据具体的应用场景制定安全机制，保障业务应用的安全。二。人工智能的应用及问题分析综上所述，人工智能在网络攻防领域的应用研究较多，应用潜力巨大。国内外也在积极探索自动化网络攻防的可能性，但网络攻防的独特属性和人工智能技术的特点，给人工智能在网络攻击领域的应用带来了一定的局限性和防御。(1)网络攻击人工智能在网络攻击中的应用已经有很多尝试，并取得了很好的效果。然而，人工智能的作用仍然有限。在漏洞挖掘方面，目前的挑战和问题主要集中在二进制程序的漏洞挖掘上。虽然自动化工具已经显示出了强大的漏洞发现和利用能力，但是仍然不能完全依赖自动化工具发现具有强大逻辑分析能力的漏洞。此外，由于人工智能模型所需的计算能力和人力成本较高，现实中利用人工智能技术方法进行网络攻击的情况较少。目前，还没有使用人工智能方法进行大规模网络攻击的真实案例。(2)人工智能在网络防御中的应用极大地提高了网络安全防御水平，但也存在一些问题。以深度学习为代表的人工智能技术虽然可以自动提取特征，但面临着数据饥饿、可解释性等问题。数据量越大，AI模型的准确率越高。然而，在恶意代码检测和软件漏洞挖掘等领域，仍然缺乏良好的数据集，导致基于人工智能方法的检测率和准确率较低。虽然深度学习等人工智能算法可以更好地识别未知威胁，但它们往往不知道为什么。算法模型缺乏可解释性，无法确定威胁来源。此外，由于人工智能在网络安全领域的特殊应用，误报成本较高，人工智能在网络防御中的应用大多采用人工智能与人类相结合的方式。根据2020RSA大会上对102名网络安全行业专业人士的调查，近60%的受访者认为经过人工验证的网络安全威胁比人工智能自动处理的威胁更具说服力。三、总结与展望人工智能具有独特的价值和优势。攻击者以人工智能为武器，使恶意攻击行为能够自我学习，并根据目标防御系统的差异进行自适应“反应”，通过寻找潜在漏洞达到攻击目的。同时，人工智能技术的运用可以改善网络安全现状，可以更快地识别已知或未知的威胁并及时做出响应，可以更好地应对复杂的网络攻击。目前，科研机构和业界已达成共识，人工智能技术的融合将成为网络攻防新常态。人工智能在网络攻防领域的应用尚处于起步阶段。人工智能只是辅助手段，真正实现自动化攻防还有很长的路要走。
