近年来，人工智能发展迅猛，与家居、金融、交通、医疗等各个领域深度融合关爱，让人们的生活更加便利。但与此同时，基于人工智能的系统一旦出现风险，也会带来更为严重的后果。如何保证人工智能在不同的应用场景下不被轻易控制、影响或欺骗，也成为从业者的重要研究课题。9月25日，腾讯正式发布业界首个AI安全攻击矩阵。这是一个实用性很强的人工智能安全技术指导框架。首次全面梳理学术界和产业界最前沿的人工智能安全研究，从攻击者的角度系统罗列人工智能技术研发和部署各个环节的攻击过程和技术。实现方法帮助AI从业者快速了解AI系统在全生命周期下的风险点和相应的缓解方法，为AI系统的安全部署和应用落地提供重要的技术参考。AI安全威胁风险矩阵据了解，该矩阵由腾讯两大实验室腾讯AI实验室和朱雀实验室联合编制，借鉴了ATT&CK这一成熟度高、实践意义强的开源安全研究框架。在网络攻防领域，进行综合分析，从攻击者的角度了解战术、技术和过程，可以帮助防御者更准确地掌握安全响应方式和防御措施。与从单一角度研究算法的安全问题相比，该矩阵具有更高的实用价值和参考意义。AI安全威胁风险矩阵强调真实场景，直观地将攻击技术按照三个成熟度等级进行分类：相对成熟、研究中、潜在威胁。据腾讯AILab介绍，矩阵编译的核心难点在于如何选择和梳理AI系统安全问题的分析角度。作为与其他软硬件协同工作的应用，AI系统安全的分析角度与传统互联网产品并不完全相同。经过充分研究，团队最终选择从AI研发部署生命周期的角度出发，总结AI系统在不同阶段面临的安全风险，从全局审视AI自身的安全性看法。在这种实践思想的指导下，矩阵可以像字典一样方便地使用。基于人工智能部署和运行的基本情况，研究人员和开发人员可以根据风险矩阵检查可能存在的安全问题，并根据推荐的防御建议降低已知的安全风险。除了专注于机器学习、计算机视觉、语音识别、自然语言处理四大基础研究领域，腾讯AILab还在持续关注AI领域的安全研究，助力可信AI系统的设计与部署.腾讯朱雀实验室专注于实战攻击技术和AI安全技术的研究，以攻促防，保护腾讯业务和用户的安全。此前，朱雀实验室模拟了实战中的黑客攻击路径，直接控制AI模型的神经元，为模型“植入后门”，实现了几乎毫无意义的完整攻击验证。AI模型文件直接产生后门效应的攻击研究。腾讯云副总裁、腾讯安全平台部负责人杨勇表示，随着行业对AI应用的不断深入，各个层面都会出现更多实用的攻击方式和手段。腾讯将持续研究AI安全领域，不定期更新风险矩阵，紧跟行业最新成果。
