试想，有人在脸上贴上一张“贴纸”，可以让人脸识别门禁系统误认为是你，轻松开门；同样的“贴纸”，贴在眼镜上，人脸识别1秒解锁手机，探索无人区般的隐私。这不是科幻大片的想象，而是首届人工智能安全大赛颁奖典礼上展示的真实攻防场景。不久前，由国家工业信息安全发展研究中心、清华大学人工智能研究院、北京瑞来智能科技有限公司联合主办的首届人工智能安全大赛落下帷幕。比赛期间，引发了关于人工智能安全风险的讨论。与会专家表示，人工智能的安全风险不是未来的挑战，而是眼前的威胁。要注重人工智能安全体系建设，加快推进人工智能安全领域关键技术研究和攻防实践。人工智能与其他通用技术一样，在取得长足进步的同时也带来了一定的风险和隐患。获得“吴文俊人工智能杰出青年奖”的瑞来智慧CEO田甜认为，随着应用场景越来越广，人工智能技术风险的范围正在逐步扩大，风险发生的可能性越来越大。也与其他风险一起增加。随着应用频率的增加而持续改进。在他看来，目前人工智能的安全风险主要可以从“人”和“系统”两个角度来分析。从人的角度评估人工智能的安全性时，首当其冲的是技术的两面性与人工智能的滥用。就人工智能的应用而言，最典型的代表就是深度造假技术，其负面应用风险不断加大，已经产生了实质性的危害。本次比赛的人脸识别破解演示揭示了系统的风险，风险来自于深度学习算法本身的漏洞。以深度学习算法为核心的第二代人工智能是一个无法解读的“黑匣子”，意味着系统存在结构性漏洞，可能面临不可预测的风险。典型的例子就是现场演示的“魔术贴”，其实是一种“反样本攻击”，通过对输入数据添加扰动，使系统做出错误的判断。该漏洞同样存在于自动驾驶感知系统中。一般情况下，自动驾驶车辆在识别出路障、标志、行人等目标后，会立即停车，但在对目标物体添加干扰图案后，车辆的感知系统可能会出错，直接撞上。比赛期间，《人工智能算力基础设施安全发展白皮书》被释放。提到人工智能算力基础设施不同于传统算力基础设施。不仅仅是“基础设施”，更是“人工智能算力”和“公共设施”。它具有基础设施属性、技术属性和公共属性的三重属性。相应地，推动人工智能算力基础设施安全发展，应从强化自身安全、保障运行安全、助力安全合规三个方面着力。协调发展与安全似乎是每一项新技术发展过程中不可避免的问题。如何实现高层次发展与高层次安全的良性互动，也是当前人工智能产业发展中最重要的命题之一。讨论的话题。“人工智能对抗攻防包括对抗样本、神经网络后门、模型隐私问题等多种技术，如果模型出现错误，需要及时修复。”中科院信息安全国家重点实验室副主任陈凯提出“神经网络外科”。“刀”法，通过定位引起错误的神经元，进行精准的“微创”修复。陈凯表示，与传统的模型修复工作需要重新训练模型或依赖大量数据样本不同，这种方法类似于“微创手术”，只需要极少量的数据样本，可以大大提高模型修复的效果。开放环境下的人工智能系统面临诸多安全挑战，如何解决通用人工智能算法全周期的安全问题成为重中之重。北京航空航天大学软件开发环境国家重点实验室副主任刘相龙表示，从技术角度来看，要形成从安全测试到安全分析、安全加固的完整技术手段，最终形成标准化的测试流程应该形成。他还指出，未来人工智能安全应着眼于从数据、算法到系统各个层面的综合评估，同时从硬件到软件都配合安全可信的计算环境。中国工商银行金融研究院安全攻防实验室负责人苏建明表示，AI安全治理需要广泛协作和开放创新。要加强政府、学术机构、企业等各行业参与者的互动合作，建立良性生态规则。在政策层面，加快人工智能立法进程，加强对人工智能服务水平和技术支撑能力的专项监督考核。在学术层面，加大对人工智能安全研究的激励投入，通过产学研合作模式，加快科研成果转化落地。在企业层面，逐步推动人工智能技术从场景拓展向安全可靠发展转变。通过参与标准制定，推出产品服务，持续探索人工智能安全实践和解决方案。事实上，构建人工智能安全生态系统，一方面需要技术的不断演进，另一方面需要专业技术人才的建设和培养。田甜表示，由于人工智能安全研究还是一个新兴领域，专业人才少，缺乏系统的研究团队，本次大赛将通过实战演练，验证和提升参赛选手的实战能力，培养具有一批高层次、高层次的人工智能安防新锐人才队伍提供了一条“快车道”。专家认为，从长远来看，人工智能的安全问题仍需从算法模型原理上有所突破。只有不断加强基础研究，才能解决核心科学问题。同时他们强调，未来人工智能的发展需要确保对社会和国家发展的有效性和积极推动，需要政产学研用协同配合。
