在自动驾驶等很多重要应用中，数据都是实时动态的，时不时会出现一些意想不到的情况。为了高效地处理这个问题，麻省理工学院的研究人员设计了一种受生物神经元启发的新型神经网络，他们也通过理论证明和实验验证证明了神经网络的有效性。相关代码也已经公开。麻省理工学院(MIT)的研究人员开发了一种新型神经网络，它不仅可以在训练阶段学习，还可以不断适应。他们将这种灵活的算法命名为“液体”网络，因为它可以像“液体”一样改变其底层数学方程式，以不断适应新的输入数据。这一进步可以促进基于动态变化数据的决策任务，例如涉及医疗诊断和自动驾驶的任务。论文地址：https://arxiv.org/pdf/2006.04439.pdf代码地址：https://github.com/raminmh/liquid_time_constant_networks《这条路可以通往未来的机器人控制、自然语言处理、视频处理——任何形式时间序列数据处理，”该研究的主要作者RaminHasani说。“它的潜力真的很大。”该研究论文是AAAI2021会议被接受的论文之一。Hasani说，时间序列数据不仅无处不在，而且对于理解世界至关重要且不可或缺。“现实世界都是关于序列的。我们的感知方式也是如此——你感知的不是图像，而是图像序列，”他说。“所以时间序列数据实际上创造了我们的现实。”他指出，视频处理、金融数据和医疗诊断应用都涉及时间序列，对我们的社会至关重要。这些不断变化的数据流的变化很难预测。然而，能够实时分析这些数据并用它来预测未来的行为，可以极大地促进自动驾驶等技术的发展。Hasani等研究人员设计了一种神经网络，可以适应实时世界系统的变化。神经网络的设计灵感来自于生物大脑，Hasani说他们对这种特殊神经网络的设计直接受到了蠕虫C.elegans的启发。“它的神经系统只有302个神经元，但它可以产生比预期更复杂的动力学，”他说。通过仔细观察秀丽隐杆线虫的神经元通过电脉冲放电和相互交流的方式，哈萨尼编码出了他的神经网络。在它用于构建神经网络的方程式中，参数可以根据一组嵌套微分方程的结果随时间变化。算法1：通过聚合常微分方程(ODE)求解算法实现的液体时间常数(LTC)递归神经网络，其中θ是参数空间，f可以是任何激活函数。算法2：LTC通过时间反向传播(BPTT)进行训练。这种灵活性是这里的关键。在训练阶段之后，大多数神经网络的行为是固定的，这意味着它们很难适应输入数据流的变化。Hasani表示，他的Liquid网络的流动性使其能够更好地应对意外或嘈杂的数据，例如遮挡自动驾驶汽车摄像头视野的暴雨。“也就是说，它更坚固。”Hasani补充说，网络灵活性还有另一大优势：“它也更容易解释。”Hasani说他的Liquid网络避免了其他神经网络常见的棘手问题。.“仅仅通过改变神经元的表示方式，你就可以探索你无法通过其他方式探索的复杂程度。”哈萨尼做出改变的方法是使用微分方程。得益于数量不多但代表性很强的神经元，更容易窥视网络决策过程的“黑匣子”并诊断网络为何具有某种特征。“模型本身非常具有表现力，”Hasani说，这可以帮助工程师理解和改进Liquid网络的性能。图1：通过轨迹长度衡量的表现力，随着输入通过隐藏层，静态深度网络的轨迹隐藏空间变得更加复杂。图2：通过轨迹长度测量的表现力，具有不同激活函数的LTC。Hasani的网络在一系列测试中表现良好。新提出的方法在预测从大气化学到交通模式分析等任务中的未来值时，优于其他最先进的时间序列算法几个百分点。此外，由于网络规模小，测试的计算成本也低得多。“每个人都在谈论扩大他们的网络，”哈萨尼说。“我们考虑缩小规模，这样你就有更少但更丰富的节点。”时间序列预测结果。Hasani计划继续改进该系统并探索其行业应用。“受大自然的启发，我们已经拥有一个经过验证的更具表现力的神经网络。但这个过程才刚刚开始，”他说。“显而易见的问题是：我们如何扩展它？我们认为这种类型的网络将成为未来智能系统的关键组成部分。”
