PNAS新研究：剑桥学者发现某些AI模型无法计算DeepLearningandSmale's18thProblem》，提出了一个有趣的发现：研究人员可以证明存在具有良好逼近质量的神经网络，但不一定有可以训练的算法（或计算）这样的神经网络。论文地址：http://www.damtp.cam.ac.uk/user/mjc249/pdfs/PNAS_Stable_Accurate_NN.pdf这类似于图灵的观点：不管计算能力和运行时间，计算机可能无法解决一些问题。换句话说，即使是最好的神经网络也可能无法准确描述现实世界。但这并不意味着所有的神经网络都有缺陷，而是它们只是稳定且研究团队通过引入一个经典的逆问题，提出了一种分类理论来描述算法可以计算哪些神经网络，并给出了一种新的方法来解决历史问题关于“人工智能能做什么，不能做什么”的问题。答案。同时，他们开发了一种新模型——“快速迭代重启网络”（FIRENETs），可以保证神经网络在应用场景中的稳定性和准确性。一方面，FIRENETs计算出的神经网络抗扰动稳定，也能稳定不稳定的神经网络；另一方面，它在保持稳定性的同时实现了高性能和低漏报。速度。工作简介如下：1研究背景深度学习（DL）取得了空前的成功，正在全力进军科学计算领域。然而，尽管保证稳定神经网络(NN)存在的一般近似特性，当前的深度学习方法常常存在不稳定性。这个问题使得深度学习在现实生活中的实施变得危险。例如，Facebook(Meta)和纽约大学在2019年FastMRI挑战赛中报告说，在标准图像质量指标上表现良好的网络容易出现假阴性，无法重建小但与物理相关的图像异常。2020年FastMRI挑战赛侧重于病理学，指出：“这种虚幻的特征是不可接受的，特别是如果它们模拟的正常结构要么不存在，要么实际上是异常的。这是非常有问题的。正如对抗性扰动研究所证明的那样，神经网络模型可能是不稳定的”。类似的例子存在于显微镜中。在不同的应用场景下，对误报率和漏报率的容忍度是不同的。对于错误分析成本高的场景，必须避免这种误报和漏报。因此，在医疗诊断等应用场景中，人工智能的“错觉”可能非常严重。对于这个问题，经典逼近定理指出连续函数可以被神经网络任意地很好地逼近。因此，用稳定函数描述的稳定问题往往可以用神经网络稳定地解决。这就提出了这样一个根本性的问题：为什么深度学习在一些已经被证明存在稳定准确的神经网络的场景中，会出现不稳定的方法和AI产生的“错觉”？为了回答这个问题，研究人员开展了一些研究，希望确定深度学习在反问题中所能达到的极限。此外，深度学习中的神经网络在稳定性和准确性之间存在权衡。稳定性差是现代人工智能的致命弱点，这里也存在一个悖论：尽管存在稳定的神经网络，但训练算法仍然可以发现不稳定的神经网络。这个基础问题与StevenSmale在1998年提出的关于人工智能极限的第18个数学问题有关。计算一个稳定的神经网络并不难，例如零网络是稳定的，但不是很准确，因此不是特别有用。最大的问题是：如何计算出既稳定又准确的神经网络？科学计算本身是建立在稳定性和准确性的基础上的，然而，两者之间往往需要权衡，有时必须牺牲准确性来保证稳定性。2分类理论：算法计算稳定神经网络的存在条件针对以上问题，作者团队提出了分类理论，描述了算法计算出具有一定精度（和稳定性）的神经网络的充分条件.他们从欠定线性方程组的经典逆问题开始：这里，A∈Cm×N表示采样模型（m2和L，存在一个条件良好的问题类，其条件如下：a)没有随机训练算法（即使是随机算法）可以用更多大于50%的概率网络；b)存在一种确定性训练算法，可以计算出K-1位精度的神经网络，但需要大量的训练数据；c)存在一种确定性训练算法，该算法可以使用不超过L个具有K-2位精度的训练样本神经网络进行计算。这表明一些基本的、基本的障碍阻止了神经网络的算法计算。这就是为什么在某些场景下神经网络稳定准确，但深度学习仍然有“错觉”的原因。3FIRENETs：平衡稳定性和准确性神经网络的稳定性和准确性之间存在权衡，并且在反问题中稳定的神经网络的性能通常是有限的。这在图像重建中尤为突出。目前的深度学习图像重建方法会存在不稳定的情况，体现在：1）图像或采样域的微小扰动可能会在重建图像中产生严重的伪影；2)图像域中的微小细节可能会在重建图像中被洗掉（缺乏准确性），从而导致潜在的假阴性。这类线性逆问题导致深度学习方法在稳定性和准确性之间存在不平衡，使得任何图像重建方法都不可能在不牺牲准确性的情况下保持高稳定性，反之亦然。为了解决这个问题，研究团队引入了“快速迭代重启网络”（FIRENETs）。FIRENETs已经被证明和数值验证是非常稳定的。他们发现，在某些条件下，例如在MRI中，有一些算法可以针对方程式1中的问题计算出稳定的神经网络。至关重要的是，他们证明了FIRENET对扰动具有鲁棒性，甚至可以用来稳定不稳定的神经网络。FIRENET对扰动具有鲁棒性在稳定性测试中，该团队将FIRENET与V.Antun等人开发的AUTOMAP网络进行了比较。（2020）。如下图上排所示，AUTOMAP网络重建非常不稳定，导致图像完全扭曲。下行是使用FIRENETs网络重建的结果。即使在最坏的重建结果中，它也保持稳定。这证明了FIRENETs算法计算出的神经网络对于小波稀疏图像的扰动是稳定的，同时能够保持一定的精度。FIRENETs的稳定器功能同时，FIRENETs也起到了稳定器的作用。例如下图中，AUTOMAP的重建输入到FIRENETs，结果表明FIRENETs修正了AUTOMAP的输出，稳定了重建。图注：在AUTOMAP的末尾添加一些FIRENET层来稳定它。最左边是AUTOMAP的重建。左起第二个是x0=Ψ(?y)的FIRENET重建。右数第二个是当?y=Ax+e3时FIRENET的重构。最右边是从AUTOMAP导入测量值后重建的FIRENET。FIRENET兼具稳定性和准确性。在下图中，在包含椭圆形状的图像上训练的U-Net非常稳定。然而，当添加一个原本不包含在训练集中的细节时，U-Net的稳定性会降低。会受到很大的影响。图注：性能有限的神经网络经过训练后可以稳定下来。考虑三个重建网络Φj:Cm→CN,j=1,2,3。对于每个网络，计算一个扰动值wj∈CN，旨在模拟最坏的效果，裁剪后的扰动图像x+wj显示在左列（第二至第四行）。中间列（第2-4行）显示每个网络的重建图像Φj(A(x+wj))。右栏以“Canuseeit?”的文本形式测试了网络重构h1小细节的能力。可以看出，在噪声测量上训练的网络对最坏情况的扰动是稳定的，但不准确。相比之下，在没有噪声的情况下训练的网络准确但不稳定。虽然FIRENET在两者之间取得了平衡，但它在最坏情况下对于小波稀疏和稳定的图像仍然是准确的。但这并不是故事的结局，在现实生活的应用场景中，找到稳定性和准确性之间的最优权衡是最重要的，这无疑需要无数不同的技术来解决不同的问题和稳定性误差。
