随着人工智能技术的发展，人工智能已广泛应用于各行各业，推动人类社会发生广泛而深刻的变革。然而，人工智能技术是一把“双刃剑”，人工智能也可能带来意想不到的安全问题。从无人驾驶撞人到自主武器杀人，从脑机接口创造超人到人工智能自我复制，人工智能真的安全吗？尤其是当人工智能应用到军事领域后，世界会不会陷入可怕的“人工智能军备竞赛”，导致人工智能失控？人工智能安全风险的根源人工智能给人类带来安全风险的原因，一方面是人工智能技术的不成熟，包括算法不可解释性、数据依赖性强等技术局限性；另一方面，人工智能技术在应用和滥用过程中对不同领域的影响和影响，包括对政治、经济、军事、社会伦理道德等方面的影响和挑战。具体到军事领域，风险而人工智能带来的挑战，除了技术局限和不成熟带来的风险之外，还包括对现有战争机制的改变、对战略稳定的影响、对战争伦理的挑战等等。本文仅选取三个方面进行分析：智能情报系统的误判风险、辅助决策系统的安全风险、自主武器系统的安全风险。智能情报系统存在误判风险基于人工智能技术的感知系统可广泛应用于情报、监视和侦察任务，但此类智能情报系统存在误判风险。首先，智能智能系统的视觉感知是基于已有的图像数据集进行训练的，数据的数量和质量会影响人工智能智能判断的准确性。其次，人工智能的计算机视觉不同于人类的认知方式。可以训练人工智能系统识别和分类物体或人的图像，但它们无法像人类那样理解物体的含义或概念。面对新的图像数据集时会做出误判。第三，智能情报系统也可能被诱骗做出错误判断，即针对样本攻击。例如，将一小段精心挑选的胶带贴在交通信号灯上可以欺骗人工智能系统，使其将红灯误判为绿灯。2019年8月，莫斯科国立罗蒙诺索夫大学和华为莫斯科研究中心的两名研究人员公布了一项研究结果。它只需要用普通打印机打印一张彩色贴纸，贴在帽子上，就可以让ArcFace等业内领先的人脸识别系统做出错误判断。在作战中，这种失误可能导致误判攻击目标，误伤平民或己方人员和设施。思考：在战争中，如果利用对抗样本攻击，故意让对方的人工智能系统无法区分军民、军用设施和民用设施，造成误攻击，谁来承担责任？辅助决策系统的安全风险人工智能辅助决策系统在军事上的应用，可以加快数据处理速度，提高目标识别能力，提高人机交互水平。DARPA在2007年启动了“深绿”（DeepGreen）项目，将人工智能引入作战决策辅助。对OODA循环中的观察判断环节进行多次计算机模拟，提前论证不同作战方案可能产生的各种后果。结果，预测了敌人的行动，并协助指挥官做出正确的决定。但是，辅助决策系统的安全隐患也不容忽视。首先，战场环境的变化和战场的复杂性可能导致人工智能系统做出错误的判断，从而影响指挥员的决策。第二，如果战争双方都使用人工智能辅助决策系统，战场上针对双方部署的人工智能系统会使环境复杂化，超出一个或多个系统的分辨率，进一步加剧系统的脆弱性并增加发生事故和错误的可能性。第三，人工智能大大缩短了决策过程和时间，大大增加了因意外导致国家间冲突升级的风险。如果人工智能参与核打击的决策，后果将更加严重。美国前国防部副部长罗伯特·沃克曾以俄罗斯的“周界”核武器控制系统为例说明人工智能不应该参与核武器的控制，因为它们会根据某些指标或数据做出错误的判断并激活核武器。在特殊情况下，人工智能可能会误判一些潜在威胁，从而更容易引发核战争。思考：如果辅助决策系统显示敌方即将对我发动核攻击的概率为60%，我们应该如何选择？先发制人，还是静观其变？自主武器系统的安全风险自主武器系统可以实现“非接触、零伤亡、低成本”作战，降低了作战门槛，容易导致滥用武力。同时，自主武器系统无需人为干预自行决策的特性，切断了战场上人与人之间的情感联系，减轻了攻击者的负罪感，并可能引发人道主义危机。由于缺乏价值判断和主观考量，自主武器系统可能无法合理评估对平民或民用物体造成的损害，从而做出错误的攻击，违反比例原则。如果自主武器不能适应战局和环境的变化，自主武器系统也有可能违反区分原则误伤平民。但是，如果让自主武器适应环境变化，实现自我进化，就有可能失去人类的控制。自主武器系统迫使人类重新思考战争法的主体定义、适用范围和基本原则，使现行战争法经受严峻考验。思考：当所有利益相关者事先都认同人工智能具有“自我进化”的可能性时，谁应该为程序“自我进化”造成的后果负责？“谁造谁负责”、“谁拥有谁负责”？还是“谁用谁负责”？人工智能安全治理当前，人工智能正逐步应用于军事领域，人工智能带来的风险挑战也越来越严峻。如果不加以有效制约，一旦人工智能偏离了人类预期的发展方向，其带来的危害将是巨大的，甚至是毁灭性的。在整个武器开发过程中，必须坚持有效的人为控制原则。包括开发和使用过程中的控制。因此，应该为人工智能打造一个“规则”的牢笼，更好地为人类服务。目前，社会各界已开始行动起来，包括加强人工智能安全监管、制定人工智能原则、制定人工智能安全标准、开发可解释的人工智能技术等。
