深度学习已经取得了长足的进步，因为它只能识别支票和信封上的手写字母。如今，深度神经网络是许多计算机视觉应用程序的关键组成部分，从照片和视频编辑器到医疗软件和自动驾驶汽车。神经网络大致模仿大脑的结构，更接近人类看待世界的方式。但他们还有很长的路要走，而且他们会犯人类从未犯过的错误。这些情况通常称为对抗性示例，它们以令人费解的方式改变AI模型的行为。对抗性机器学习是当前人工智能系统面临的最大挑战之一。它们可能导致机器学习模型以不可预测的方式失败，或者变得容易受到网络攻击。一个对抗性的例子：在这张熊猫照片上添加一层难以察觉的噪声，让卷积神经网络误认为它是一只长臂猿。创建能够抵御对抗性攻击的人工智能系统已成为一个活跃的研究领域和人工智能会议的热门话题。在计算机视觉中，保护深度学习系统免受对抗性攻击的一种有趣方法是应用神经科学发现来缩小神经网络和哺乳动物视觉系统之间的差距。使用这种方法，麻省理工学院(MIT)和MIT-ibmWatsonAI实验室的研究人员发现，将哺乳动物视觉皮层的特征直接映射到深度神经网络可以创建行为上更具可预测性且更能抵抗对抗性示例的AI系统.在bioRxiv预印本服务器上发表的一篇论文中，研究人员介绍了VOneNet，这是一种将当前深度学习技术与受神经科学启发的神经网络相结合的架构。https://www.biorxiv.org/content/10.1101/2020.06.16.154542v1这项工作是在慕尼黑大学、路德维希马克西米利安大学和奥格斯堡大学的科学家的帮助下进行的，并被去年举行的NeurIPS2020会议。当今计算机视觉的主要架构是卷积神经网络(CNN)。当卷积层堆叠在一起时，可以学习和提取图像中的层次特征。较低的层找到一般模式，如角落和边缘，而较高的层逐渐变得更擅长寻找更具体的事物，如物体和人。神经网络的每一层都会从输入图像中提取特定的特征。卷积神经网络已被证明比传统的全连接网络更稳健且计算效率更高。但CNN和人类视觉系统处理信息的方式仍然存在根本差异。IBM-MIT沃森人工智能实验室（mit-IBMWatsonAILab）主任DavidCox告诉TechTalks：“深度神经网络（尤其是卷积神经网络）已经成为视觉皮层出奇的好模型。通常能更好地拟合收集到的实验数据来自大脑，甚至比旨在解释神经科学数据的计算模型更好。”“但并不是所有的深度神经网络都能很好地匹配大脑数据，而且大脑和DNN之间存在一些持续的差异。”最突出的差距是对抗性的例子，其中微小的扰动，例如一块或一层难以察觉的噪声，可能会导致神经网络对其输入进行错误分类。这些变化往往不被人们注意到。对抗性攻击停车标志AI研究人员发现，通过在停车标志上添加微小的黑白贴纸，他们可以使计算机视觉算法无法识别它们。“可以肯定的是，可以欺骗DNN的图像永远无法欺骗我们自己的视觉系统，”考克斯说。“同样的情况是，DNN非常容易受到图像自然退化（例如，添加噪声）的影响，因此鲁棒性通常似乎是DNN的一个开放性问题。考虑到这一点，我们认为这是一个搜索的好地方看看大脑和dna之间的差异，这可能会有所帮助。”IBMmit-IBMWatsonAI实验室主任DavidCox一起研究神经网络是否比大脑活动更能抵抗对抗性攻击。AI研究人员测试了几种在ImageNet数据集上训练的流行CNN架构，包括AlexNet、VGG和ResNet的不同变体。他们还测试了一些经过“对抗训练”的深度学习模型，在这个过程中，神经网络使用对抗样本进行训练，以避免错误分类。我们使用BrainScore指标评估AI模型，该指标比较深度神经网络的激活和大脑的神经反应。然后，我们通过测试其针对白盒对抗攻击（攻击者充分了解目标神经网络的结构和参数）的鲁棒性来衡量每个模型的鲁棒性。“令我们惊讶的是，神经网络越像大脑，系统对对抗性攻击的抵抗力就越大，”考克斯说。“受此启发，我们想知道是否有可能通过在网络的输入阶段添加一个更类似于早期视觉皮层的处理层来提高鲁棒性（包括对抗鲁棒性）。”NeuralNetworkAdversarialRobustness，研究表明，大脑得分较高的神经网络更能抵抗白盒对抗性攻击。为了进一步验证他们的发现，研究人员开发了VOneNet，这是一种混合深度学习架构，它将标准神经网络与一层受神经科学启发的神经网络相结合。CNN的前几层被VOneBlock取代，VOneBlock是一种仿照灵长类初级视觉皮层（也称为区域V1）的神经网络架构。这意味着图像数据首先由VOneBlock处理，然后传递给网络的其余部分。VOneBlock本身由Gabor滤波器组(GFB)、简单单元、复杂单元非线性处理层和随机神经元组成。GFB类似于其他神经网络中的卷积层。但是，虽然经典神经网络从随机参数值开始并在训练期间调整它们，但GFB参数值是根据我们所知的初级视觉皮层的激活来确定和固定的。VOneBlockArchitecture，VOneBlock是一种模仿初级视觉皮层功能的神经网络结构。“VOneBlock的网络权重，即架构，完全基于生物学设计。这意味着我们对VOneBlock的所有选择都受到神经生理学的限制。换句话说，我们设计VOneBlock是为了模仿灵长类初级视觉皮层（区域V1）。我们考虑了可用数据从过去40年的几项研究中收集来确定VOneBlock参数。虽然不同灵长类动物的视觉皮层存在显着差异，但也有许多共同特征，尤其是V1。幸运的是，灵长类动物之间的差异似乎很小，事实上有大量研究表明猴子的物体识别与人类相似。在我们的模型中，我们使用了已发表和可用的数据来描述猴子V1神经元的反应。虽然我们的模型仍然只是对灵长类动物V1的近似（它不包括所有已知的数据，甚至这些数据也有一定的局限性——关于V1的处理还有很多我们不知道的），它是一个很好的近似，”。VOneNet的性能优于VOneBlock的优势之一是它与当前CNN架构的兼容性。“VOneBlock设计为即插即用，”Marques说。“这意味着它直接取代了标准CNN结构的输入层。VOneBlock核心之后的转换层确保其输出与CNN架构的其余部分兼容。”研究人员将VOneBlock插入到几个CNN架构中，这些架构在ImageNet数据集上运行良好。有趣的是，添加这个简单的块可以显着提高对白盒对抗性攻击的鲁棒性，并且优于基于训练的防御方法。研究人员在他们的论文中写道：“在标准CNN架构之前模拟灵长类动物初级视觉皮层的图像处理显着提高了它们对图像扰动的鲁棒性，使它们的性能甚至超过了最先进的防御系统。”方法”。实验表明，包含VOneBlock的改进卷积神经网络可以更好地抵抗白盒对抗性攻击。“我们在这里添加的V1模型实际上非常简单——我们只更改系统的第一阶段，而不更改系统的其余部分网络，并且这个V1模型的生物保真度仍然非常简单，”Cox说。他补充说，可以为模型添加更多细节和细微差别，使其更好地匹配我们对大脑的了解。该论文挑战了一种趋势，即在过去的一年里，AI研究变得太普遍了。许多AI科学家没有在他们的研究中应用关于大脑机制的最新发现，而是专注于利用庞大的计算资源和数据集来训练更大的神经网络，推动进步在该领域。这种方法对AI研究提出了许多挑战。VOneNet表明，生物智能仍有许多未开发的潜力来解决AIre面临的一些基本问题搜索。“这里展示的模型直接来自灵长类动物神经生物学，实际上需要更少的训练来实现更像人类的行为。这是神经科学和人工智能相互补充并相互加强的新良性循环的转折点。”作者写道。未来，研究人员将进一步探索VOneNet的特性，并进一步整合神经科学和人工智能的发现。“我们目前工作的一个局限性是，虽然我们已经证明添加V1块会带来改进，但我们没有很好的解释为什么会这样，”考克斯说。发展这一理论以帮助理解这个“为什么”问题将使人工智能研究人员最终找到真正重要的东西并构建更高效的系统。他们还计划探索超越人工神经网络初始层的神经科学启发架构的整合。翻译自：https://venturebeat.com/2021/01/08/is-neuroscience-the-key-to-protecting-ai-from-adversarial-attacks/
