本文经AI新媒体量子比特（公众号ID：QbitAI）授权转载，转载请联系出处。随着人工智能技术的发展，人工智能正在许多场景中逐渐替代或协同各种人类劳动。它们可以变成人的眼睛、耳朵、手臂甚至大脑。其中，机器视觉是AI时代的基础技术，其背后的AI算法一直是各家科技巨头和初创公司追逐的热点。然而，在这些主流应用场景的背后，往往隐藏着技术缺陷带来的算法安全风险。例如，在一些训练数据无法涵盖的极端场景下，自动驾驶汽车可能会做出难以想象的决定，从而给乘客带来安全风险。2016年以来，特斯拉、优步等公司的辅助驾驶和自动驾驶系统都发生了类似死亡的严重事故。而这样的极端情况，也有可能被恶意制造，用来发动“反样本攻击”。去年7月，百度等研究机构利用3D打印让自动驾驶“无视”障碍物，导致车辆相撞。该风险还威胁到驾驶安全。之所以攻击能够成功，是因为机器视觉和人类视觉有很大的区别。因此，通过对图像和物体等输入信息加入小的扰动（即上述故意扰动的“对抗性示例”），可能会导致较大的算法错误。此外，随着人工智能的进一步发展，算法模型在金融决策、医疗诊断等更多关键核心场景的应用，此类人工智能“漏洞”的威胁将更加突出。近年来，清华大学人工智能研究院院长张博院士、微软前全球执行副总裁沉向阳等院士都倡导发展安全、可靠、可信、负责任的人工智能。应用是重点方向。然而，人工智能安全是一个新兴领域。虽然对抗样本等攻击手段日趋复杂，但在开源社区和工具包的支持下，高级攻击手段正在快速增长，相关防御手段的普及和推广也难以跟上。在人工智能算法研发和应用过程中，对抗样本等算法漏洞检测存在较高的技术壁垒。目前，市场上缺乏自动化检测工具，大多数企业和组织不具备该领域的专业技能来妥善应对日益增多的故意攻击。1、从安全评估到防御升级，RealSafe让AI更安全可控为解决上述痛点，近日，清华大学人工智能研究院孵化器RealAI（RealAI）正式推出首款AI极限算法和对抗环境下的安全检测和加固工具平台——RealSafe人工智能安全平台。据了解，该平台内置领先的AI抗攻防算法，提供从安全评估到防御加固的整体解决方案。对抗攻击。RealAI表示，就像网络安全时代一样，网络攻击的大规模渗透催生了杀毒软件，可以检测潜在的计算机病毒威胁，并提供一键式系统优化、垃圾清理和漏洞修复等功能。RealSafe研发团队希望通过RealSafe平台打造人工智能智能时代的“杀毒软件”，为人工智能系统防火墙建设提供支持，帮助企业有效应对算法漏洞滋生的“新型病毒”在人工智能时代。RealSafe平台目前支持两大功能模块：模型安全评估和防御解决方案。其中，模型安全测评主要为用户提供AI模型安全测评服务。用户只需接入所需评估模型的SDK或API接口，选择平台内置或自行上传的数据集，平台将生成基于各种算法模拟攻击的对抗样本，并集成到不同的算法中、迭代时间和干扰。攻击下模型效果的变化，给出模型安全评分和详细的评估报告（如下图）。目前支持黑盒查询攻击方式和黑盒迁移攻击方式。防御方案是为用户提供机型安全升级服务。目前RealSafe平台支持五种去噪通用防御方式，可以自动对输入数据进行去噪，破坏攻击者恶意添加的抗噪。根据以上模型安全评估结果，用户可以选择合适的防御方案，一键提升模型的安全性。此外，在防御效果方面，根据实测，使用RealSafe平台的防御方案后，部分第三方人脸比对接口的安全性可提升40%以上。随着模型攻击手段的不断拓展，RealSafe平台不断提供广泛而深入的AI防御手段，帮助用户获得实时、自动化的漏洞检测和修复能力。2、“对抗样本”变“AI病毒”，国外主流人脸识别算法相继“破”。站在人脸识别终端前，通过人脸识别摄像头完成身份验证。类似的人脸识别认证已经覆盖可用于人脸识别支付、酒店入住登记、考试身份验证、人证比对等日常生活场景。考虑到对抗样本的概念对于大众来说可能比较模糊，RealSafe平台选择大家最熟悉的人脸比对场景（人脸比对在上述身份认证场景中被广泛使用）提供在线体验。而且，为了进一步研究“对抗样本”对人脸比对系统识别效果的影响，RealAI团队基于该功能对国外主流AI平台的演示服务进行了测试。选择一组不同的人脸图片（如下图），通过RealSafe平台对其中一张图片生成对抗样本，但不影响肉眼的判断。添加“对抗样本”后，输入第三方人脸比对平台，检查相似度支出。最终结果显示，在添加“噪音”之前，两张图片被Azure和AWS判断为不属于同一个人，但添加“噪音”后，上述两个平台的演示服务给出了错误的结果，认为两张图属于同一个人，即便是Azure平台的demo服务，加“噪点”前后的相似度变化也超过了70%。为探索结果的普适性，RealAI团队选取了三个国内主流的人脸比对平台进行测试。结果还显示，在加入干扰后，原本被判断为“不同面孔”的图片被误判为“同一个人”。人脸”前后的相似度变化幅度可达20%以上。经过RealSafe防火墙的“去噪”过滤后，这些人脸比对平台的识别“错误”都得到了不同程度的纠正，识别效果稳步提升，RealAI团队已将这一潜在风险及相关防御手段反馈给上述企业，帮助降低风险，实际测试证明，“对抗样本”可以极大干扰识别结果人脸比对系统据介绍，目前市场上很多中小企业在实现人脸识别应用时，都选择使用上述互联网公司，该公司开放的人脸比对SDK或API接口，如果有明显的安全性他们的人脸对比技术漏洞，意味着在更广泛的应用场景中会存在安全隐患。除了人脸比对，对抗样本攻击也可能出现在目标检测的应用场景中。推而广之，这可能会危及工业、安防等领域的安全风险检测。例如，某电网的输电铁塔监控系统，由于输电铁塔对防止吊车、塔吊、烟花爆竹等安全防护要求高，需要对输电铁塔内外进行全天候实时监控。损坏传输线。检测AI算法提供保护。但RealAI研究团队发现，只要通过RealSafe对目标检测算法进行一定的对抗性样本攻击，监控系统就会失灵，无法识别非常明显的烟花。估计损失。事实上，上述AI安全风险是由底层AI算法的技术缺陷造成的，往往比较隐蔽。但如果牵一发而动全身，这些“不可预见”的风险漏洞最有可能成为被攻破的薄弱环节。链接，而RealSafe平台同步推出的防御解决方案，可有效提升AI算法在各应用领域的安全性。3、“零编码”+“可量化”两大优势高效应对算法威胁，零编码在线测评：相对于ART、Foolbox等开源工具需要自己部署编写代码，RealSafe平台采用组件化、零编码的功能设置，省去了重复造轮子的精力和时间消耗。用户只需提供相应数据即可在线完成测评，大大降低了算法测评的技术难度，学习成本低，无需专业算法能力也可操作。比如上面针对微软、亚马逊等第三方平台的测试，按照一步一步的提示完成整个过程，几分钟就可以看到测试结果。评估结果可视化、可量化：为了帮助用户提高模型安全性的概念，RealSafe平台采用可量化的形式展示安全性评估结果，根据模型在对抗样本攻击下的表现，对模型进行打分。分数越高，模型越好。安全性越高。此外，RealSafe平台提供了安全变化展示，防御处理后的安全评分变化和模型效果变化一目了然。4、推出安全周边产品，保护更多场景事实上，对抗样本原本是机器学习模型的一个有趣现象，但经过不断的升级演化，“对抗样本”已经演变成一种新型的攻击方式，并从数字领域传播开来。world到物理世界：在路上贴反样本贴纸模仿合流条误导自动驾驶汽车转错车道，胸前贴对抗样本贴纸实现监控设备下的隐身……所以，除了为数字世界引入算法模型作为安全测评平台，RealAI团队还与清华大学AI研究院合作，推出了一系列基于AI攻防的安全产品。多年积累的世界领先研究成果，旨在满足更多场景的AI安全需求。例如，在攻击技术方面，RealAI团队实现了全球首创的“反样本”技术，通过刷脸解锁商用手机，让手机将戴“特殊眼镜”的黑客误认为是机主。△图片：全球唯一通过AI反样本技术破解商用手机人脸解锁案例。通过在目标人物的衣服上贴上特殊图案，AI监控无法检测到人，实现“隐身”，通过在车辆上涂上特殊图案，避免AI检测到车辆。△图片：通过AI反样本模式规避AI车辆检测。在发现上述各种新漏洞的同时，RealAI也推出了相应的防御技术，支持检测主流AI算法中的安全漏洞，提供AI安全防火墙来攻击AI。模型的行为被有效拦截。人工智能大潮滚滚而来，随之而来的安全风险也将越来越多样化。尤其是近年来，人工智能技术不成熟带来的侵权风险也频频发生。、数据安全是另一大安全问题。值得庆幸的是，以RealAI为代表的这些顶尖AI团队已经开始在AI安全领域的征程，开始用标准化的产品帮助行业降低应对安全风险的门槛和成本。RealSafe人工智能安全平台的推出，是RealAI的一次小小的尝试，但对于整个行业而言，将是人工智能行业健康可控发展的一大步。
