12月15日，欧盟网络与信息安全局（ENISA）发布了一份名为《人工智能的网络安全挑战：人工智能威胁图谱》（ArtificialIntelligenceCyber??securityChallenges:ThreatLandscapeforArtificialIntelligence）的报告，该报告对人工智能网络的影响描述了安全生态系统和威胁图，并强调了与AI安全相关的挑战。ENISA发布人工智能网络安全威胁图谱1.简介人工智能不断影响我们的生活，并通过自动化决策能力在数字化转型中发挥关键作用。作为一项新兴技术，人工智能带来的优势非常明显，但同时也带来了潜在的风险。例如，人工智能技术在自动驾驶汽车、智能医疗等安全关键领域的应用，可能会给个人和企业带来新的、可能无法预测的风险，以及新的攻击方式和技术，并创造新的数据保护挑战。保护AI本身需要：了解要保护的内容；了解相关的数据治理模型；在多方利益相关者生态系统中以综合方式管理威胁；开发特定的控制措施来保护人工智能本身是安全的。人工智能和网络安全具有多维关系，具有一系列相互依存关系。人工智能的网络安全问题。人工智能模型和算法缺乏鲁棒性，存在反模型干扰和操纵、攻击人工智能空间物理系统、攻击人工智能系统使用的数据等安全漏洞。人工智能赋能网络安全。作为一种工具，人工智能可以通过开发更有效的安全工具来创造更强大的网络安全能力；并利用人工智能帮助执法机构等更好地应对网络犯罪，如大数据分析、侦查取证、人工智能在犯罪活动中的应用等。恶意利用人工智能。恶意使用AI可以创建更复杂的攻击，例如用于生成恶意软件的AI、高级社会工程、DDoS攻击、用于生成虚假数据的深度生成模型、密码破解等。此类使用包括针对现有人工智能系统的攻击和在攻击活动中使用人工智能。2.AI生命周期人工智能系统的生命周期由几个相互依存的阶段组成，从设计和开发（包括需求分析、数据收集、训练、测试、集成等子阶段）、安装、部署、操作、维护和处置。图1人工智能生命周期通用参考模型2.1数据数据是人工智能中最有价值的资产之一，在人工智能生命周期中会不断转化。图2是数据在人工智能生命周期不同阶段的转化过程：数据引入（DataIngestion）、数据探索（DataExploration）、数据预处理（DataPre-processing）、特征重要性（FeatureImportance、相似特征提取）),培训、测试和评估。AI生命周期中的数据转化涉及到其他几类资产，如演员、计算资源、软件等，甚至还涉及一些无形资产，如流程、文化等。参与者可能带来潜在的无意威胁。图2AI生命周期发展阶段的数据转换过程2.2AI生命周期的参与者完整的AI生命周期中有不同类型的参与者，包括AI系统设计与创造工程中的AI设计师和AI应用程序开发人员。此外，还有开发人工智能系统中使用的软件和算法的人工智能开发人员。他们的经验和能力在安全人工智能系统的开发中发挥着非常重要的作用。人工智能开发人员和设计师的工作与数据科学家的工作密切相关。数据科学家的工作包括帮助设计和开发人工智能模型。数据科学家也参与收集和翻译数据，主要是为了从数据中提取知识和见解。数据工程师主要从不同来源提取和收集数据，然后对其进行转换、清洗、标准化和存储。数据工程师主要设计、管理和优化数据流。AI生命周期中的其他关键参与者包括数据所有者。数据所有者是用于训练或验证AI系统的数据集的所有者。数据所有者也可以是数据提供者或数据经纪人。AI生命周期的参与者还包括模型提供者，负责交付经过训练或调优的模型。其中一些模型提供商是云提供商，它们将模型作为模型即服务提供。也有第三方提供商为开发者提供训练人工智能系统的第三方框架和库。最后是使用AI系统的终端用户，服务的消费者。3.AI资产威胁地图中一个非常重要的元素是可能面临威胁的资产类型。人工智能除了数据、软件、硬件、通信网络等一般ICT相关资产外，还有模型、数据等特定资产，具体包括以下六大类：数据；楷模;参加者；流程；环境/工具；相关产品人工制品。3.1数据数据资产包括原始数据、标注数据集、公开数据集、训练数据、测试数据集、验证数据集、评估数据、预处理数据集等3.2模型模型资产包括算法、数据预处理算法、特征选择算法、模型、模型参数、模型性能、训练参数、超参数、训练模型、微调模型等。3.3参与者参与者资产包括数据拥有者、数据科学家、人工智能开发者、数据工程师、终端用户、数据提供者/代理、云服务提供者、模型提供者、服务消费者/模型用户等。3.4流程流程资产包括数据引入、数据存储、数据探索/预处理、数据理解、数据标注、数据收集、特征选择、模型选择/构建、训练和测试、模型精细化tuning,modeladaptation-transferlearning/modeldeployment,Modelmaintenance等3.5Environment/tools环境/工具资产中包括通信网络、通信协议、云、数据引入平台、数据探索平台、DBMS（数据库管理系统）、分布式文件系统、计算平台、集成开发环境、库、监控工具、操作系统/软件、优化技术、机器学习平台、处理器、可视化工具。3.6相关产品Artefacts相关产品资产包括访问控制列表、用例、数据管理、价值主张和业务模型、数据管理策略、描述性统计参数、模型框架、软件、固件和硬件、高级测试用例、模型架构、模型已经通过设计、数据和元数据模式、数据索引。4.人工智能威胁根据ENISA威胁分类方法，人工智能安全威胁主要分为以下几类：恶意活动/滥用（NAA）：指旨在窃取、改变或破坏特定目标的恶意活动，针对ICT系统,对基础设施和网络的深思熟虑的行动。窃听/拦截/劫持(EIH)：在未经用户同意的情况下监听、拦截或控制第三方通信的行为。物理攻击(PA)：旨在破坏、暴露、更改、禁用、窃取或未经授权访问基础设施、硬件或互连物理资产的行为。UnintentionalDamage(UD)：导致财产或人员损坏、受伤或伤害并导致故障或效用降低的无意行为。FailureorFailure(FM)：硬件或软件等资产的部分或全部功能失效。中断(OUT)：计划外的服务中断或质量下降到要求的水平以下。灾难：造成重大损失或生命损失的突发事故或自然灾害。法律(LEG)：第三方根据法律采取的诉讼或追回损害赔偿的行动。4.1恶意活动/滥用(NAA)未经授权访问数据集和数据传输过程；数据集和数据传输过程的操作；未经授权访问模型代码；黑客攻击和限制人工智能结果；入侵机器学习以干扰正确的数据；数据中毒；数据修改；特权升级；内部威胁；优化算法的操作；基于对抗样本的错误分类；模型中毒；转移对抗性攻击；在线系统操作；盒子，有针对性或无针对性的攻击；标记数据操作；针对训练数据集的后门插入攻击；侵入机器学习训练验证数据；对抗性例子；降低数据准确性；加工;侵入模型框架；数据索引销毁；降低人工智能机器学习结果的有效性；模型后门。4.2窃听/拦截/劫持(EIH)数据干扰；数据盗窃；模型披露；弱加密。4.3PhysicalAttacks(PA)由不可靠的数据基础设施造成的错误或限制；模型损坏；对基础设施系统的物理攻击；通信网络攻击；其他故意损坏。4.4意外损坏（UD）黑客攻击或限制AI结果；数据处理过程中侵犯隐私；特征选择的中断；人工智能系统的操作配置或处理不当；机器学习模型的性能下降；在线系统操作；数据不足表示；统计数据处理不当；降低数据准确性；模型配置错误；数据所有者引入的偏见；个人信息披露；模型框架破坏。4.5故障（FM）由于不可靠的数据基础设施导致的错误；第三方提供商故障；机器学习模型性能下降；缺少数据质量检查；弱需求分析；资源规划不足；数据管理策略薄弱；数据索引损坏；入侵机器学习预处理；入侵模型框架。4.6关机(OUT)基本设置/系统关机；通信网络关闭。4.7灾害地震、洪水、火灾等自然灾害；气候变化等4.8法（LEG）数据索引销毁；供应商锁定；弱需求分析；缺乏数据治理策略；个人信息泄露。5.结论ENISA人工智能威胁图集是即将出台的网络安全政策举措和技术指南的基础，同时也提出了与人工智能相关的挑战。一个特别重要的领域是与人工智能相关的供应链。因此，重要的是要强调欧盟生态系统，包括AI供应链的所有元素，以确保安全可靠的AI。欧盟安全的人工智能生态系统应优先考虑网络安全和数据保护，并促进相关的创新、能力建设、意识提升和研发活动。
