科学子刊：人脑存在加速学习机制，计算能力超越最新AI算法影响当代生活的几乎方方面面。半个世纪前，研究人员试图模仿这些大脑的功能，将神经科学和人工智能联系起来。然而，从那以后，实验神经科学并没有直接推动机器学习领域的发展，这两个学科一直在独立平行发展。在今天《科学报告》发表的一篇文章中，研究人员表示，他们重建了实验神经科学与机器学习之间70年的中断。我们大脑的高级学习机制可能会导致更高效的人工智能算法。图片来源：Bar-Ilan大学IdoKanter教授该研究的主要作者，Bar-Ilan大学物理系和脑研究多学科中心的IdoKanter教授说：“据信，大脑中的学习步骤可以通常持续数十分钟甚至更长时间，而在计算机中，持续时间为纳秒，或快一百万倍。”研究人员着手证明两个假设：一，我们总是认为大脑学习非常缓慢，这可能是错误的；二、大脑可能有加速学习机制。令人惊讶的是，这两个假设都被证明是正确的。尽管大脑相对较慢，但其计算能力优于典型的最先进人工智能算法。通过在神经元培养物上使用新型人工神经网络进行实验，研究人员首次证明增加训练频率会加速神经元适应过程。这项工作的主要贡献者ShiraSardi说：“从每秒观察同一张图像10次中学习，与每月观察同一张图像1000次一样有效。”另一位贡献者RoniVardi博士补充说：“快速重复相同的图像图像可以提高我们大脑适应秒而不是几十分钟的能力。大脑的学习速度可能更快，但这超出了我们的极限当前的实验。”启发新的学习机制。这种机制是在人工神经网络上实现的，其中对于连续的学习步骤，局部学习步长会增加。在简单的手写数字数据集MNIST上进行测试，成功率大大超过常用的机器学习算法，例如手写数字识别，尤其是在为训练提供较小数据集的情况下。重建实验神经科学与机器学习之间的联系，有望在有限的训练样例下促进人工智能（尤其是超快速决策）的发展，也适用于人类决策、机器人控制等多种情况和网络优化。接下来开始纸类干货。该论文描述了突触强度的变化通常持续数十分钟，而神经元（节点）的时钟速度大约为一秒。尽管大脑相对较慢，但其计算能力优于典型的最先进人工智能算法。遵循这种速度/功率悖论，我们通过实验推导了基于小型数据集的加速学习机制，这些数据集在千兆赫兹处理器上的利用有望导致超快的决策制定。与现代计算机不同，定义明确的全局时钟不会控制大脑的过程。相反，它们是相对事件时间的函数（例如，刺激和诱发尖峰）。根据神经元计算，使用通过分支树突树衰减输入的总和，每个神经元对异步输入电信号求和，并在达到阈值时生成短电脉冲（尖峰）。每个神经元的突触强度根据来自其他突触的输入的相对时间缓慢调整。如果从没有尖峰的突触中感知到信号，则其关联强度会根据其与同一神经元上其他突触的相邻尖峰的相对时间进行修改。最近通过实验证明，每个神经元都充当独立的阈值单元。信号通过树突树到达后，每个阈值单元都被激活。此外，基于树突信号到达时间实验观察到一种新的自适应规则，这类似于目前归因于突触（连接）的慢速自适应机制。这种树突适应发生在更快的时间尺度上：大约五分钟，而突触修饰则需要数十分钟或更长时间。研究过程1.实验结果表明，适应率随着训练频率的增加而增加。在这项研究中，研究人员在多电极阵列上接种神经元培养物，并添加突触阻滞剂，通过其树突细胞在细胞外刺激这种膜片钳细胞。活的神经元。正在研究的神经元通过神经元树突在细胞内受到刺激，并为每个刺激路径生成不同的尖峰波形。更详细的解释请参考原论文的“材料与方法”部分。适应过程包括一个训练集：50对刺激。通过进一步测试神经元刺激的反应时间和强度是否正常，我们量化了神经元适应的影响，并确定了应该研究什么细胞外刺激幅度。神经元的正常延迟时间：1-4毫秒要量化初始反应，请降低细胞外刺激幅度，直到观察不到可靠的诱发峰。2.加速基于生物启发机制的监督可实现学习规则。与生物学机制的含义一致，适应过程随着训练频率的增加而大大加快，这可能意味着随着时间的推移适应步长减小（等式1）：当前适应步长𝜂𝜂𝑡；+1𝑎d𝑎𝑝，等于之前的权重减少，𝑡表示离散时间步长，𝜏0是一个常数，1/τ表示训练频率，Δ是一个常数，表示当前训练步长的增量效果。使用支持常规和二元分类的监督在线学习，研究了两种情况：突触适应和树突适应：我们首先检查时间依赖性适应步骤（等式1）对加速生物学习过程的影响。教师为学生提供异步输入和二元输出关系，两者具有相同的最简单分类器感知器架构，输出节点由漏积分和放电神经元组成。结果清楚地表明，泛化误差，εg的实验启发式的时间相关η（方程式1）大大优于固定η场景（上图）。这种加速学习源于这样一个事实，即突触学习中的权重会收敛到一个极限，并且权重会消失或超过阈值。3.使用在神经网络上测试的MNIST数据库，在不可实现规则的监督学习中检查实验启发式的时间依赖学习步骤的机制。该数据库包含大量手写数字的示例（下图），经常被用作原型问题来量化机器学习算法对各种图像处理任务的泛化性能。在这项研究中，我们使用了MNIST数据库的一小部分，没有任何数据扩展方法。一个常用的训练网络由784个输入（代表一个28×28像素的数字）、一个隐藏层（本研究中为30个单元）和十个代表标签的输出（如上图）组成。一种常用的学习方法是反向传播策略：将步长上的权重修改为代价函数梯度的负号C的步长η。一种改进的方法是动量策略和权重的正则化（上面的等式2）：动量μ和正则化α在区域[0,1]中是常数，并且𝜂0η0是常数。我们使用交叉熵成本函数（材料和方法）优化了动量策略（等式2）（𝜇、𝛼、𝜂0）（μ、α、η0）的性能training数据集进行比较，并将其性能与以下两种由时间相关的η组成的实验启发式学习机制进行比较。论文中还有更详细的加速度公式，限于篇幅，本文不再多做介绍。结果：在线训练集由300个随机选择的示例组成：每个标签以随机顺序出现30次。经过300个学习步骤后，加速方法的性能优于动量方法25%以上，测试精度分别从大约0.43提高到0.54。对于给定数量的网络更新，事实证明，较小的示例集会产生更多信息。为了最大限度地提高在线场景（尤其是小数据集）的测试准确性，平衡的示例集和平衡的时间训练顺序是重要的组成部分。该论文得出结论，对于基于连贯、连续梯度增加的η的小组训练示例，受大脑启发的加速学习机制优于现有的通用ML策略。在各种成本函数（例如二次成本函数）上运行会产生一致的结果，但性能会相对下降（见下图）。由于给定数据集的最大性能取决于所选的加速方法（见下图），因此在训练期间调整学习方法可以提高性能。然而，除了可能用于更新η的高级非线性函数外，加速方法的最终调度和经过训练的实例的排序以最大化性能也值得在网络更新次数较多时进一步研究。实验神经科学和ML的桥梁有望进一步推进有限数据库的决策，这在许多领域都是现实：人类活动、机器人控制和网络优化。本文研究机构巴伊兰大学，简称BIU，成立于1955年，位于以色列拉马特甘。它是一所公立大学，也是以色列第二大学术研究机构。
