你的AI模型有什么样的安全问题？你可以在这本AI攻防“词典”中找到它们目前，AI技术已经广泛应用于刷脸支付、人脸安全、语音识别、机器翻译等诸多场景。人工智能系统的安全性也越来越受到业界的关注。针对人工智能模型的恶意攻击会给用户带来巨大的安全风险。例如，攻击者可能会使用特制的攻击贴纸来欺骗人脸识别系统，造成生命财产损失。为了应对AI模型各个环节可能存在的安全风险并给出相应的防御建议，腾讯今天正式发布了业界首个AI安全攻击矩阵。△AI安全威胁风险矩阵该矩阵由腾讯AI实验室和朱雀实验室两家腾讯实验室联合编制，借鉴了网络攻防领域较为成熟的ATT&CK开源安全研究框架，综合分析来自于网络攻防领域的战术。攻击者、技术和流程的视角。腾讯AI安全攻击矩阵从以下七个维度推出了21种AI安全攻防手段。AI模型开发前遇到的攻击方式有：环境依赖：依赖软件攻击、Docker恶意访问、硬件后门攻击、供应链攻击数据收集整理：数据中毒、数据后门攻击模型训练：数据恢复在梯度、初始权重修改、代码攻击、训练后门攻击、非中心化场景模型部署：模型数据恢复、模型文件攻击模型使用：数字对抗攻击、物理对抗攻击、模型窃取、GPU/CPU溢出破坏模型架构:queryarchitecturestealing,sidechannelarchitecturetheft结果的影响：模型误判，信息泄露这个AI安全攻防矩阵包括：从AI模型开发前的环境搭建，到模型的训练和部署，以及后期的使用维护。涵盖了整个AI产品生命周期中可能遇到的安全问题，并给出了相应的应对策略。这个矩阵可以像字典一样方便地使用。基于人工智能部署和运行的基本情况，研究人员和开发人员可以根据风险矩阵检查可能存在的安全问题，并根据推荐的防御建议降低已知的安全风险。研究人员将各种攻击方法标记为成熟的、研究中的和潜在的威胁。AI开发者可以直观了解不同攻击技术对AI模型的危害程度。据腾讯AILab介绍，矩阵编译的核心难点在于如何选择和梳理AI系统安全问题的分析角度。作为与其他软硬件协同工作的应用，AI系统安全的分析角度与传统互联网产品并不完全相同。经过充分研究，团队最终选择从AI研发部署生命周期的角度出发，总结AI系统在不同阶段面临的安全风险，从全局审视AI自身的安全性看法。除了专注于机器学习、计算机视觉、语音识别、自然语言处理四大基础研究领域，腾讯AILab还在持续关注AI领域的安全研究，助力可信AI系统的设计与部署.腾讯朱雀实验室专注于实战攻击技术和AI安全技术的研究，以攻促防，保护腾讯业务和用户的安全。此前，朱雀实验室模拟了实战中的黑客攻击路径，直接控制AI模型的神经元，为模型“植入后门”，实现了几乎毫无意义的完整攻击验证。AI模型文件直接产生后门效应的攻击研究。目前完整版风险矩阵可在腾讯AILab官网免费下载。附上AI安全攻击矩阵全文下载地址：https://share.weiyun.com/8InYhaYZ
