神经网络的使用越来越多。无论是医疗诊断还是自动驾驶，神经网络都在许多关系到人类安全和健康的重要领域逐渐开始发挥作用。但是这些神经网络，可信吗？我们都知道神经网络擅长识别大量复杂数据中的模式以帮助人类做出决策，但识别它们的过程是一个黑匣子。一些人工智能研究人员正试图揭开这个秘密，找出神经网络可信度的答案。在麻省理工学院和哈佛大学的联合项目中，AlexanderAmini和他的同事通过开发一个可以处理数据的神经网络来探索这个问题，不仅可以输出预测结果，还可以根据可用数据的质量。简单点说，就是让神经网络自己给自己结果的可信度打分，给自己“几斤两两”！比如在自动驾驶中，模型会分析各种传感器的数据，这就是“路口一切正常”和“可能是安全的，以防万一”的区别。目前的神经网络不确定性评估往往代价高昂且耗时较长，但Amini的“深度证据回归”（deepevidentregression）可以加速这一过程并获得更可靠的结果。麻省理工学院计算机科学与人工智能实验室DanielaRus教授团队的博士生阿米尼说：“我们不仅需要拥有表现良好的模型，还需要了解我们何时不能信任这些模型。”中国航空航天局）。“这个想法很重要，应用范围很广。它可以用来评估依赖学习模型的产品。通过估计学习模型的不确定性，我们还可以了解模型可能引入的错误以及什么缺失的数据可以改进模型。”Rus说。Amini将在NeurIPS会议上介绍这项研究，Rus将与他同在。高效的不确定性经过起起落落的历史，深度学习已经在各种领域展示了卓越的性能任务，在某些情况下超过人类的准确性。如今，深度学习似乎无处不在。它为搜索引擎结果、社交媒体提要和面部识别提供了技术基础。“我们在深度学习方面取得了巨大成功，”阿米尼说。“神经网络擅长在99%的时间内知道正确答案。”但在生活面前，AI的1%侥幸是不能容忍的。“研究人员一直在逃避的一件事是，这些模型需要知道并告诉我们它们可能是错误的，”阿米尼说。“我们真正关心的是那1%的时间，以及我们如何能够可靠、高效地找到这些案例。”神经网络的参数范围从非常大到数十亿。因此，仅仅为了获得答案就可能需要大量计算，更不用说信心了。神经网络中的不确定性分析并不新鲜。但是以前的贝叶斯深度学习方法依赖于运行或采样,一个神经网络很多次来了解它的可信度。这个过程需要大量的时间和内存，这在智能交通等场景中是不切实际的。研究人员设计了一种仅通过一次神经网络运行来估计不确定性的方法。他们设计了一个具有多个输出的网络，它不仅输出一个预测，而且产生一个新的概率分布，该分布捕获支持该预测的信心。这些分布称为证据分布，直接捕获模型的可信度。这包括模型中存在的任何不确定性底层输入数据及其对模型最终决策的影响。这种区别可以表明w是否可以通过调整神经网络本身来减少不确定性，或者输入数据是否只是噪声。检查可靠性为了测试他们的方法，研究人员决定从一项具有挑战性的计算机视觉任务开始。他们训练他们的神经网络来分析单眼彩色图像并估计每个像素的深度值（即与相机镜头的距离）。自动驾驶汽车可能会使用此计算来估计它与行人或其他车辆的距离，这不是一项简单的任务。他们的神经网络的性能与之前最先进的模型相当，并且还具有估计自身不确定性的能力。正如研究人员所预料的那样，神经网络在其预测错误的地方输出了高度的不确定性。“它是根据网络产生的误差进行校准的，我们认为这是衡量可信度预测器质量的最重要因素之一，”阿米尼说。为了对他们的校准进行压力测试，该团队还表明，该网络预测“分布不均”的数据具有更高的不确定性——这是一种全新的图像类型，它在训练期间从未遇到过。在对网络进行室内家庭场景训练后，他们向网络提供了一批户外驾驶场景。神经网络不断发出警告，表明它对无法识别的户外场景的反应是不确定的。该测试突出了网络在用户不应该完全信任其决定时发出警告的能力。在这种情况下，“如果这是一个医疗保健应用程序，也许我们不相信模型提供的诊断并寻求其他意见，”阿米尼说。该网络甚至知道照片何时被篡改，从而有可能防止数据操纵攻击。在另一项实验中，研究人员提高了一批图像的对抗性噪声水平，并将这些图像发送到网络。这种改变是微妙的，人类几乎察觉不到，但神经网络发现了图像并标记了具有高度不确定性的输出。这种对虚假数据发出警报的能力可以帮助检测和阻止对抗性攻击，这是深度造假时代日益受到关注的问题。DeepMind的人工智能研究员RaiaHadsell评论说，深度证据回归是“一种简单而优雅的方法，可以推进不确定性估计领域，这对机器人技术和其他现实世界的控制系统很重要”。“这种方法以一种新颖的方式完成，避免了其他方法的一些混乱方面，例如采样或集成，这使得它不仅优雅而且计算效率高，是一个成功的组合。”“深度证据回归”可以提高人工智能辅助决策的安全性。“我们开始看到越来越多的神经网络模型从实验室进入现实世界，进入可能危及生命的环境，”阿米尼说。“任何使用这种方法的人，无论是医生还是坐在车辆乘客座位上的人，都需要意识到与该决定相关的任何风险或不确定性。”他设想该系统不仅可以快速识别不确定性，还可以用于在危险情况下采取行动。做出更保守的决定，例如当无人驾驶汽车通过十字路口时。“任何部署机器学习的领域最终都需要有可靠的可信度指标，”他说。
