人脑长期以来一直激励着研究人员，因为它支持我们的计算能力，部分原因是高效的生物能源和神经元作为基本激发单元。神经形态芯片的灵感来自于人脑低功耗、快速计算的特性，在计算界并不是一个新鲜话题。由于复杂算法和架构的快速发展，散热已成为一项重大挑战。神经形态计算可能是未来超大规模机器和自动驾驶等人工智能应用的基石。“不知何故，人脑——我们自己的生物有机体——已经想出了如何以比传统超级计算机快一百万倍的速度提供人工智能操作。”神经形态是一个机会，可以尝试提出一种能够模仿人脑的CMOS架构，受益于人脑模型，保持能源效率和成本效益。--MarkSeager，英特尔研究员，可扩展数据中心HPC生态系统首席技术官神经形态芯片的最初想法可以追溯到1990年加州理工学院教授CarverMead的一篇论文。米德在论文中提出，模拟芯片可以模仿人脑神经元和突触的活动。与模拟芯片的二进制性质不同，模拟芯片是一种输出可以变化的芯片。模仿人脑活动的意义在于我们可以从中学习。传统芯片为每次传输保持固定的特定电压。正如米德在2013年的一次谈话中提到的，当涉及到当今机器学习任务中使用的复杂算法和架构时，散热是芯片行业面临的最大挑战。相比之下，神经形态芯片由于其仿生特性而只需要低水平的能量消耗。人脑如此高效的一个原因是神经冲动在传输过程中只损失了一小部分能量。只有当累积的电荷超过设定的限制时，信号才会通过。这意味着神经形态芯片是事件驱动的，只在需要时运行，从而带来更好的运行环境和更低的能耗。几家公司已经投资于类脑计算的研究。无线技术公司高通公司在2014年展示了一款基于神经形态芯片的机器人。该机器人可以使用智能手机芯片上的修改软件来执行通常需要专门编程的计算机才能完成的任务。IBM2014年出品的SyNAPSE芯片同样采用类脑计算架构，而且功耗极低，实时运行时仅为70mW。最近，神经形态重新引起了IBM和英特尔等公司的兴趣。与2013年和2014年打算上市的产品不同，这次他们希望以研究为目的进行探索。Intel在2012年提出了类似于生物神经网络的自旋CMOS混合人工神经网络（spin-CMOSHybridANN）的设计实例作为首批原型之一。在这个设计中，神经元磁铁形成了触发点。磁隧道结(MTJ)类似于神经元的细胞体，畴壁磁铁(DWM)类似于突触。通道中心区域的自旋势能等于控制活性/非活性状态的细胞体的电势能。CMOS的检测和传输单元可以比作将电信号传输到接收神经元的突触（如图1所示）。除了在低功耗方面的优势，神经形态设备还擅长于需要超越超级计算的模式匹配的任务，例如自动驾驶和实时传感馈送神经网络。也就是说，那些需要模拟人脑思维或“认知计算”的应用，而不是能力更强的简单复杂计算。正如MarkSeager所建议的那样，神经形态开发应该侧重于具有大量浮点向量单元和更高并行度的架构，并且能够以相当统一的方式处理高度分层的内存。更具体地说，关于神经网络，研究的重点是如何通过互连将机器学习任务并行化，例如英特尔开发的OmniPath，以解决更大更复杂的机器学习问题，从而在多个节点上扩展。可扩展性目前仅限于数十到数百个节点，限制了神经形态芯片的潜力。然而，随着计算神经网络算法和模型的进步，可扩展性可以大大提高，这将为神经形态芯片提供更大的改进空间。然而，我们不得不承认，神经形态虽然是未来计算中很有前途的方向，但还停留在理论层面，尚未量产。几款据说具有神经形态芯片元素的设备仍然存在争议，例如Audience生产的噪声抑制器，但它们并没有屈服于当前的刺激数量以获得其性能评估。正在进行的研究表明，在克服实施神经形态芯片时遇到的困难方面取得了进展，并为神经形态计算带来了光明的未来。实验“这种架构可以解决从视觉和声音到多场景融合的广泛问题，并有可能通过在计算受功率和速度限制的设备中集成类似大脑的性能来彻底改变计算行业。”——DharmendraModha，IBMFellowNeuromorphic的目标是将神经科学作为一种算法灵感，从中抽象出关键思想，以指导神经形态计算架构的未来发展。然而，将我们的生物结构转化为振荡器和半导体等电子设备并不是一个简单的过程。简单的任务。为了获得神经形态芯片的好处，需要大量的振荡器来模仿。今天的深度神经网络已经有数百万个节点，更不用说正在努力开发具有更多节点的更复杂的神经网络。要实现与人脑相当的容量，需要数十亿个振荡器。使用软件来激发如此庞大的神经网络是极其耗能的，但是使用硬件来处理它要好得多。要在芯片上容纳所有节点，那么大小指尖，纳米级振荡器是必不可少的。这是一个问题，因为纳米级的振荡器容易受到噪声的影响。这样的振荡器s在热扰动下会改变行为，并且它们的特性会随时间漂移。神经形态计算在处理电路中的噪声方面做得不是很好，尽管它可以容忍输入的不可靠性。以分类任务为例，当给定相似的输入时，每次都需要进行相同的神经网络分类。由于噪声原因，只有理论解决方案可以实现带有纳米级振荡器的神经形态芯片，而不是经验实现。然而，最近的一篇论文提出了一种克服这一困难的解决方案，并使用专用的纳米磁振荡器成功地模拟了一组神经元的振荡行为。研究人员发现，在特定的动力学条件下，使用自旋力矩振荡器可以获得与高信噪比同义的出色分类结果。如图2所示，自旋振荡器由两个铭文Zeng和一个夹在中间的normalspacer组件组成，其结构与目前的磁存储单元完全相同。如上图所示，充电电流产生的磁化振荡转化为电压振荡。随后的语音数字识别实验证明，自旋矩振荡器可以在神经形态任务上实现最先进的性能。一个相对简单的波形识别任务被用来研究自旋振荡器在模式识别中的作用。每个正弦波或方波都标有8个离散的红点，任务需要在红点处区分正弦波和方波。图3b显示需要许多非线性神经元来创建空间神经网络中以蓝色描绘的路径。如图3c所示，路径也可以根据时间定义，例如根据每个振荡器振幅的非线性轨迹。每个输入都会触发振荡器幅度的特定路径，如果时间步长设置为振荡器弛豫时间的一小部分，这将生成瞬态动态状态。这意味着，与神经元在空间上分离的传统神经网络相比，单个振荡器充当一组及时连接的虚拟神经元。这个函数创建了一个过去事件的内存池，如果之前的输入不同，这会导致振荡器对相同的输入做出不同的响应。由于振荡器的弛豫时间有限，正弦波和方波的完美分离也是可能的。在硬件上模拟神经网络的迭代训练也能够补偿处理中的异常。如上所述，在模拟硬件的情况下，失真可能在动态中起重要作用。控制这些异常很重要，因为网络的性能本质上依赖于使用精确参数进行的训练。在线培训提供的补偿在由软件训练的深度神经网络转换的BrainScaleS晶圆级神经元系统上使用尖峰网络进行了演示。然后循环遍历每个训练epoch，然后记录活动。网络活动首先记录在硬件中，并使用反向传播算法进行处理以更新参数。研究人员发现，在训练步骤中参数更新不必非常精确，只需大致遵循正确的梯度趋势即可。因此，可以简化该模型中更新的计算。尽管模拟基板存在固有差异，但这种方法允许快速学习，只需几十次迭代即可实现近乎理想的软件模拟原型精度。神经形态硬件实现通常面临的另一个主要挑战是系统准确性。突触权重的有限精度降低了系统的准确性，这阻碍了神经形态系统的广泛应用。纳米级振荡器应该实现连续的模拟电阻，但在实际器件中只能实现几种稳定的电阻状态。最近的一项工作提出了三种校正方法来以一级精度学习突触：分布感知量化（DQ/distribution-awarequantization）将不同层中的权重离散化为不同的值。该方法基于对网络不同层的权重的观察。量化正则化（QR/quantizationregularization）在训练过程中直接学习网络的离散权重。正则化通过固定梯度减小权重与其最接近的量化级别之间的距离。动态偏置调整（BT/biastuning）可以学习到最好的偏置补偿，将对量化的影响降到最低。这也可以减轻神经形态系统中基于忆阻器的系统中突触变化的影响。这三种方法使模型能够达到与最先进技术相当的图像分类精度。分别使用多层感知器和卷积神经网络对MNIST和CIFAR-10数据集进行了实验。表2的结果表明，当仅使用三种精度提升方法中的一种时，与基线精度相比，精度有较大提升（分别为1.52%、1.26%和0.4%）。当两种或三种方法同时使用时，准确率会更高，接近理想值。使用卷积神经网络时也会出现同样的发现。与仅使用QR相比，某些组合（例如QR+BT）不会提高准确性（如表2所示）。这可能是因为MNIST是一个相对简单的数据库，这三种方法对准确性的提高很快就达到了饱和水平。在多层感知器和卷积神经网络中，精度下降控制在0.19%（MNIST数据集）和5.53%（CIFRAR-10数据集），与没有这三种方法的系统相比，精度和速度下降明显降低。结论随着机器学习算法和模型的进步，将迫切需要新颖的架构。神经形态器件功耗低、计算速度快、并行度高，在人工智能和认知计算的应用中具有巨大潜力。尽管目前的神经形态芯片还处于理论层面，正朝着实际应用和上市产品迈进，但研究人员已经展示了一些有前景的研究。这是未来的一个方向，有可能彻底改变计算世界。“我一直在思考人们如何创建大规模并行系统，而我们仅有的例子是动物大脑。我们已经建立了很多系统。我们已经制造了视网膜、耳蜗——很多东西都起作用了。但是创建大规模并行系统是一项比我想象的更大的任务。”——MarverMead参考资料：https://web.stanford.edu/group/brainsilicon/documents/MeadNeuroMorphElectro.pdf（斯坦福神经拟音系统论文）https://www.nextplatform.com/2017/02/11/intel-gets-serious-neuromorphic-cognitive-computing-future/（英特尔下一代神经形态和认知计算平台）http://news.mit.edu/2011/brain-chip-1115（麻省理工学院模拟人脑芯片）https://www.youtube.com/watch?v=cBJnVW42qL8(MattGrob:Brain-InspiredComputing,PresentedbyQualcomm)(QualcommBrain-InspiredComputing)https://www.youtube.com/watch?v=_YQTp3jRMIs(神经形态——从机器到生命，TED演讲）https://arxiv.org/abs/1206.3227（使用自旋设备的神经形态硬件）https://arxiv.org/abs/1703.01909（在BrainScaleSTrainingDeepNetworksonWafer-ScaleSystems)https://arxiv.org/abs/1701.01791（神经形态系统的分类任务）https://arxiv.org/abs/1701.07715（神经形态计算）https://www.technologyreview.com/s/526506/neuromorphic-chips/（神经形态芯片）https://science.energy.gov/~/media/bes/pdf/reports/2016/NCFMtSA_rpt。pdf(神经形态计算——从材料到系统架构)
