近年来,随着科学家不断突破机器学习的界限,训练日益复杂的神经网络模型所需的时间、精力和金钱猛增。“模型可以建立,但训练速度太慢”成为困扰越来越多研究者的头疼问题。最近,被称为“模拟深度学习”的人工智能新领域有望以更少的能量实现更快的计算。可编程电阻器是模拟深度学习的关键部分,就像晶体管是数字处理器的核心元件一样。通过在复杂层中重复排列可编程电阻器,研究人员可以创建一个模拟人工神经元和突触网络,像数字神经网络一样执行计算。这个网络可以被训练来执行复杂的人工智能任务,比如图像识别和自然语言处理。模拟神经网络的计算速度在很大程度上取决于“人工突触”的传输速度。麻省理工学院的一个团队正试图解决这个问题。他们之前已经开发出人工模拟突触,现在要做的是创造一种超越原有旧版本的新材料。这一次,他们在制造过程中使用了一种实用的无机材料,使上述可编程电阻器的运行速度比以前的版本快一百万倍,同时还实现了比人脑更快的突触。大约快100万倍。此外,这种材料使电阻器非常节能。与早期版本设备中使用的材料不同,新材料与硅制造技术兼容。这种变化使纳米级设备的制造成为可能,并可能为将深度学习应用程序纳入商业计算硬件铺平道路。该研究论文已发表在《科学》杂志上。论文链接:https://www.science.org/doi/pdf/10.1126/science.abp8064论文的通讯作者,电气工程与计算机科学系(EECS)的Donner教授JesúsA.delAlamo麻省理工学院表示:“有了这一重要发现,再加上MIT.nano强大的纳米制造技术,我们已经能够将各个部分组合在一起,并证明这些设备本质上非常快,并且可以在合理的电压下运行。”“该设备的工作原理是将最小的离子——质子——以电化学方式插入绝缘氧化物中,以调节其电子电导率。由于我们使用的设备非常薄,因此可以通过使用强电场来加速这种离子。运动和推动这些离子设备朝着纳秒级的操作方向发展,”BreeneM.“生物细胞中的动作电位以毫秒为单位上升和下降,因为大约0.1伏的电压差是由水的稳定性控制的。”在这里,我们在一个特殊的纳米级厚的固体玻璃薄膜上施加了高达10伏的电压,该薄膜可以传导质子而不会对其造成永久性损坏。此外,电场越强,离子装置运行的速度就越快。该论文的共同作者还包括材料科学与工程系的EllenSwallowRichards教授FrancesM.Ross;博士后NicolasEmond和BaomingWang;和EECS研究生张迪飞。这些可编程电阻大大提高了神经网络的训练速度,同时大大降低了训练的成本和能耗。这可以帮助科学家更快地为自动驾驶汽车、欺诈检测或医学图像分析等应用开发深度学习模型。“一旦你有了模拟处理器,你就不必去训练其他人正在研究的网络。你可以训练出前所未有的复杂度的网络,这是其他人无法承受的。换句话说,它不仅仅是一辆快车,这是一架飞机。”论文第一作者、麻省理工学院博士后MuratOnen说。100万倍加速深度学习模拟深度学习比数字深度学习更快、更节能的主要原因有两个。首先,计算是在内存中执行的,因此大量数据负载不会在内存和处理器之间来回传输。模拟处理器也并行运行。如果矩阵被放大,模拟处理器不需要更多的时间来完成新的运算,因为所有的计算都是同时进行的。麻省理工学院新模拟处理器技术的一个关键要素称为质子可编程电阻器。这些电阻器以纳米为单位测量并排列成阵列,就像棋盘一样。纳秒级质子可编程电阻器为了开发超快、节能的可编程质子电阻器,研究人员寻找了不同的电解质材料。当其他设备使用有机化合物时,Onen专注于无机磷硅酸盐玻璃(PSG)。PSG基本上是二氧化硅,它是一种用于去除水分的粉末状干燥剂材料。在潮湿条件下,研究人员将其作为燃料电池的质子导体进行了研究。它也是硅加工中最著名的氧化物。为制造PSG,将少量磷添加到硅中,使其具有质子传导的特殊性质。Onen假设优化后的PSG可以在室温下具有高质子传导率而不需要水,这将使其成为理想的固体电解质。惊人的速度PSG使质子能够超快运动,因为它包含大量纳米尺寸的孔隙,这些孔隙的表面为质子扩散提供了通道。它还可以承受非常强的脉冲电场。“这很关键,因为向设备施加更多电压可以使质子移动得非常快,”奥南说。强大的磁场,防止它们化为灰烬。相反,质子最终以极快的速度穿过一堆设备,比我们以前能做的快一百万倍。此外,由于质子体积小、质量低,这种运动不会破坏任何东西。这几乎就像隐形传态。”由于质子不会损坏材料,因此电阻器可以运行数百万次而不会出现故障。质子可编程电阻器的超快和节能调制特性这种新电解质使可编程质子电阻器的速度比以前的设备并且可以在室温下高效运行,使它们成为计算硬件的理想选择。重要的是。由于PSG的绝缘特性,当质子运动时,很少有电流流过材料。“这使得该设备非常节能高效,”Onen补充道。“既然他们已经证明了这些可编程电阻器的有效性,研究人员计划重新设计它们以进行大规模生产。然后他们可以研究电阻器阵列的特性并将它们放大,以便将它们嵌入系统中。”Yildiz补充说,“这些离子设备可以实现的另一个令人兴奋的方向是节能硬件,用于模拟神经科学中衍生的神经元。”突触可塑性规则,超越了模拟深度神经网络。我们已经开始与神经科学进行这样的合作,并得到了麻省理工学院QuestforIntelligence的支持。”德尔阿拉莫说:“我们的合作对于未来的创新至关重要。未来的道路仍然充满挑战,但同时也非常令人兴奋!”斯坦福大学材料科学与工程副教授WilliamChueh说。“诸如锂离子电池中发现的嵌入反应已在存储设备中得到广泛探索。这项工作表明,基于质子的存储设备提供了令人印象深刻且令人惊讶的切换速度和稳健性。”不过,WilliamChueh并未参与这项研究。
