会让未成年小孩开车吗？显然这是一种非常鲁莽和危险的行为，但是如果是在游乐园或者封闭的专用跑道上，这样做的安全性又是另外一回事，因为有安全围栏等措施来保护司机。安全研究人员一直致力于通过人工智能、机器学习和自动化来革新传统安全实践，实现“自主安全”状态。但是，从目前人工智能（AI）技术的应用成熟度来看，完全代替安全人员进行决策和行动，无异于让孩子自己出去兜风。会发生后果不堪设想的重大安全事故或风险事件。在此背景下，顺应人工智能发展的主动安全技术的顺利应用，我们应该构建怎样的护栏？考虑以下三个问题：AI/ML、决策制定和自动化如何相互关联？目前人工智能、机器学习和自动化决策能力的成熟度如何？智能技术发展到什么状态，才能应用于安防领域？为了回答这些问题中的每一个，我们不妨研究以下三个模型框架：OODA循环、DARPA的人工智能三波浪潮和经典教育。OODA循环OODA循环代表Observe（观察）、Orient（定位）、Decide（决定）和Act（行动），也可以进一步理解为：感知、理解、决策和行动。在此框架内，AI/ML（理解）与自动化（行动）不同，并通过决策功能连接。自治意味着无意识或无意识。在此框架的背景下，自主可能意味着跳过理解和决策（例如非自愿刺激-反应反射），或仅跳过决策（例如非自愿呼吸）。DARPA的人工智能三段论DARPA的框架定义了人工智能技术的发展。第一阶段采用专家的知识并将其整合到软件中以提供确定性结果。第二阶段涉及支持模式识别和自动驾驶汽车的统计学习系统。这一波产生的结果一般都很好，但在个别情况下也可能不可靠。在DARPA的第3阶段，AI能够提供解释模型，使我们能够理解任何理解错误是如何以及为什么发生的，这种理解有助于增加我们对其理解能力的信任。根据DARPA的理论，研究人员普遍认为，目前的人工智能技术还不能很好地实现第三阶段的应用。当前的机器学习能力可以为我们提供通常正确的答案，但还不够成熟，无法告诉我们它们是如何以及为何得出错误答案的。经典教育的第三个框架是经典教育三部曲，描述了儿童发展的三个学习阶段。在小学，孩子们专注于记忆事实以及学习结构和规则。在中学，他们专注于连接相关主题并解释如何以及为什么。最后，在高等教育阶段，学生能够整合多学科知识体系，形成逻辑推理，开始说服他人。目前这一代的人工智能技术还缺乏足够的解释问题和原因的能力，所以可以认为它还没有经过经典教育模式中的小学阶段，其综合能力成熟度可能只相当于儿童10岁以下。自主安全需要跳过人类的决策过程。但是，如果我们让当代人工智能为我们做决定，我们必须认识到，我们正在与智能系统打交道，其决策能力相当于不成熟的孩子。毫无疑问，我们将继续朝着自动化自主安全迈进。但是有了一些护栏，我们可以将这种演变的负面影响降到最低。以下是需要考虑的几个方面：传感器多样性：基于多个数据源，确保传感器源可信且可靠。边界条件：确保决策具有高度确定性和狭窄的范围。既定阈值：当异常情况发生时，评估最大可能的负面影响是什么；算法完整性：确保整个过程和所有假设都被完整记录并被操作员理解；刹车和倒档：如果超出范围，准备最好随时按下killswitch，立即使动作可逆。权力和责任：预先确定采取行动的权力和对结果的责任。在安全措施到位的情况下让孩子开车是不负责任的，同样，在让半生不熟的自动安全系统接管之前，我们应该确保为他们的安全应用设置适当的护栏。
