2019年，OpenAI发布了SafetyGym（https://openai.com/blog/safety-gym/），这是一套用于开发遵守某些“安全约束”的AI模型的工具。当时，OpenAI声称它可以使用SafetyGym来比较AI算法的安全性和避免犯错的能力。从那时起，SafetyGym就被用来衡量OpenAI、加州大学伯克利分校和多伦多大学的研究人员提出的算法的性能。但也有专家质疑人工智能“安全工具”是否有效，或者说它们是否让人工智能系统更安全？伦敦玛丽女王大学AI研究员Cook指出：“正如OpenAI所指出的，他们试图为AI系统提供无法做到的事情制定规则，然后让AI代理在范围内找到解决方案规则，但前提是你需要很多规则。当然，我们可以添加更多的规则和更多的约束，但如果你不知道AI到底会想出什么解决方案，这总是一个问题。会有不希望的优化。”库克举了自动驾驶汽车避免碰撞的例子，指出在没有规则的情况下，人工智能可能会让汽车保持两厘米左右的距离，或者做任何其他不安全的事情，然后在此基础上在规则范围内进行优化。对于自动驾驶汽车，这种“试错”成本是不可接受的。英特尔Mobileye和Nvidia等公司已经提出模型，使AI决策安全且“合乎逻辑”，尤其是在自动驾驶汽车领域。2017年10月，Mobileye发布了一个名为责任敏感安全(RSS)的框架，这是一种具有“逻辑可证明”道路规则的“确定性公式”，旨在防止自动驾驶汽车造成事故。Mobileye声称RSS提供了一种常识性方法来道路决策，养成良好的习惯，比如保持安全跟车距离，让其他车辆先行。英伟达对这个概念的理解是安全力场（SafetyForceF场），即通过分析传感器数据并做出预测来监控不安全行为，目的是最大限度地减少伤害和潜在危险。使用Nvidia在现实世界、合成高速公路和城市场景中验证的数学计算，SafeForceField可以同时考虑制动和转向约束，使其能够识别由两者引起的异常。这些工具的目标是安全（Safety），表面上看起来似乎很好。但正如库克指出的那样，围绕“安全”以及谁来定义什么是安全存在很多社会学问题。一份FICO报告显示，65%的员工无法解释他们的公司如何做出AI模型决策或预测，更不用说它们是否“安全”了。“作为一个社会，我们对风险水平达成了某种程度的共识，有时我们将其写入法律，比如预计每年会发生一定数量的车祸。但在人工智能方面，我们可能希望提高这些标准。”因为这些系统是完全可控的，不像人。”库克继续说道，“对安全的担忧是可以理解的，但最终我们需要接受这样一个事实，即人工智能安全不能对每个人都安全。满意。”例如，虽然今天的Autopilot和ADAS系统可以说比人类驾驶员更安全，但它们仍然会犯错误——正如特斯拉最近的困境所证明的那样。库克认为，如果人工智能公司对其产品的行为承担更多的法律和财务责任，该行业将采取不同的方法来评估其系统的安全性，而不是试图“事后解决问题。”佐治亚理工学院数字媒体副教授NassimParvin认为，围绕自动驾驶汽车的讨论太过分了。对车祸中丧生的乐观，也许是“真正的关注”可能是重新思考的起点。“人工智能系统设计应该超越错误的二元权衡，过分强调意图和目标会导致人们直接快速技术解决方案而不考虑社会系统的复杂性，”她说。“意想不到的后果”一词意义深远。讨论AIdesi的重大障碍gn，而不是推动者……”单一工具不太可能阻止AI系统中的不安全决策，需要产品所有者、风险评估人员和用户参与AI对话的潜在陷阱和风险，以创建一个暴露的过程，测试并减轻AI风险和缺陷。【本文为专栏作者“安安牛”原创文章，转载请通过安安牛（微信公众号id：gooann-sectv）获得授权】点此查看作者更多好文
