深度神经网络是使用数学模型处理图像和其他数据的多层系统，现在正在发展成为人工智能的重要基石。深度神经网络看似复杂的结果也可能具有误导性。这种误导的范围从将一种动物错误识别为另一种动物，到误导一辆将停车标志误解为正常行驶的自动驾驶汽车。在《自然机器智能》上发表的一篇论文中，休斯顿大学的一位哲学家认为，这些假设性问题背后的一个共同假设是，误导性信息会对此类网络的可靠性产生严重后果。随着机器学习和其他形式的人工智能深入社会，其用途开始涵盖从ATM机器到网络安全系统的方方面面。哲学系副教授卡梅伦·巴克纳(CameronBuckner)表示，正是这种流行使得了解明显错误的来源变得更加重要。研究人员将这类信息称为“对抗性示例”，这意味着当深度神经网络在学习过程中遇到训练输入以外的信息时，很可能会得出错误的结论，最终导致图像或数据。误判。之所以称为“对抗性”，是因为此类问题通常只能由另一个机器学习网络生成或发现。作为机器学习领域的前沿技术，对立双方将不断提升能力，尝试以更复杂的方式实现干扰和抗干扰。“但这种对抗有时可能是人为误导造成的，所以为了更好地理解神经网络的可靠性，我们必须深入研究误导问题，”巴克纳说。由网络需要处理的内容与涉及的实际模式之间的某种交互引起。这似乎与传统意义上的误导不是完全相同的概念。Buckner写道：“理解对抗性整合的含义可能需要探索第三种可能性：至少其中一些模式是人为创造的。因此，难题在于丢弃这些模式可能会损害模型学习，但直接使用则有潜在风险。”在机器学习系统中触发错误的对抗事件更有可能是有意而非无意的。Buckner认为这是一个更严重的风险，“这意味着恶意攻击者可能会欺骗某些本应可靠的系统，例如安全应用程序。”例如，基于面部识别技术的安全系统很可能被黑客攻击，导致违规行为；或在交通标志上张贴某些图形，导致自动驾驶汽车意外误解。先前的研究发现，与预期相反，在机器学习系统有可能由于意外交互而不是由于数据错误而产生误解的使用场景中自然存在对抗性示例。这种情况非常罕见，必须通过其他人工智能技术才能检测到。但这些问题是真实存在的，需要研究人员重新思考如何区分自然异常和人为误导。事实上，我们对这种人为误导的理解并不明确。但这有点像相机镜头上时不时出现的光晕，类似于依靠光晕来判断照片中太阳的位置，研究人员似乎可以利用这样的线索推断出恶意误导的方法在机器学习中。更重要的是，这种新的思维方式还将影响人们在深度神经网络中使用人工制品的方式，包括不简单地将错误解释的结论视为深度学习无效。他总结说：“一些对抗性事件很可能是经过设计的。我们需要知道这些技术和人工制品是什么，才能真正了解深度神经网络的可靠性。”
