机器学习(ML)推动了科学的巨大进步，从粒子物理学到结构生物学再到宇宙学，机器学习能够在大数据中学习特征集、分类不同对象和进行参数推理，以及自回归语言模型、预测蛋白质结构、蛋白质功能预测等更具开创性的应用。鉴于机器学习强大的学习能力，我们不禁要问，仅仅通过观察我们的太阳系，机器学习就能重新发现万有引力定律吗？牛顿万有引力定律指出，两个粒子之间的吸引力与它们质量的乘积成正比，与它们之间距离的平方成反比。它是经典力学的一部分，于1687年在《自然哲学的数学原理》首次发表，并于1687年7月5日首次发表。近日，英国萨塞克斯大学、伦敦大学学院等机构的研究人员在论文中回答了上述问题.他们的回答是：是的。具体来说，该研究提出了一种机器学习方法，通过观察自动发现实际物理系统的控制方程和隐藏特性。研究人员训练了一个图神经网络，通过30年的轨迹数据来模拟太阳系的太阳、行星和大型卫星的动态。然后，他们使用符号回归发现了神经网络隐式学习的力学定律的解析表达式，表明该表达式等同于牛顿万有引力定律。论文地址：https://arxiv.org/pdf/2202.02306.pdf研究分为两个阶段：第一阶段学习模拟器是基于图网络（GN），这是一个可以训练的深度神经网络逼近图上的复杂函数。在这里，太阳系的太阳、行星和卫星的（相对）位置和速度表示为输入图的节点，而天体之间可能的物理相互作用（例如力）表示为图的边。该研究将基于GN的模拟器与30年观测到的太阳系轨迹相匹配。在第二阶段，研究分离边缘函数并应用符号回归来拟合边缘函数的解析公式，其最佳拟合是牛顿万有引力定律。然后，该研究使用发现的方程重新拟合未观察到的（相对）物体质量，并发现与物体的真实质量几乎完美吻合。然后，研究人员可以使用发现的方程和重新学习的质量来模拟太阳系动力学，并获得与实际观察到的轨迹非常接近的对应关系。下图是太阳、水星、金星、地球、火星的示意图，以及学习模拟器使用的对应图结构。图中的节点代表天体，边缘的亮度与它们之间的引力相互作用强度成正比。数据vs.模型数据：符号回归研究历来专注于玩具模拟，但现实世界的数据充满了混乱，包括噪声、信息丢失、未知物理常数等。因此，该研究直接从对轨道的观察中重新发现了轨道力学太阳系。该研究基于NASAHorizo??ns的星历表（Ephemeris）数据开发了一个训练数据集，其中包括太阳系中质量大于10^18千克的31个天体：太阳、行星、冥王星和一系列卫星。训练数据为1980-2010年30年，验证集为2010-2013年。模型：该模型是基于Battaglia等人于2018年提出的交互网络（InteractionNetwork）的图神经网络（GNN）。GNN非常适合物理数据集：它们通过消息传递显式地处理对象（节点）之间的交互，并允许研究人员轻松地将对称性（如排列、平移和旋转等）嵌入到网络中。GNN的唯一输入是给定时刻天体的位置和速度，以及学习参数。通过训练GNN来预测各个天体的加速度，模拟系统的动力学，以及天体的质量。提取签名规则接下来，研究人员想找出GNN实际学习了哪些规则来预测这些动态。将模型压缩成一组符号规则也可以提高泛化能力。为此，该研究使用符号回归拟合GNN消息传递模块的输入和输出。符号回归是一种机器学习算法，可以搜索数百万个符号表达式来拟合数据。该研究使用PySR算法（Cranmer，2022）完成此任务，该算法使用进化算法。下图是学习模拟器找到的符号表达式，从中可以发现输出变量在所有情况下都是F_x，更复杂的表达式可以更准确地逼近GNN的内部函数。然而，人们总是可以将其他项添加到一个简单的表达式中以提高其准确性，因此在简单性和准确性之间存在权衡。使用与Cranmer等人相同的分数。(2020)，这项研究成功地模拟了牛顿万有引力定律（如上图所示）。然后研究人员将这个模拟出来的规律放回GNN的消息传递模块中，得到的模拟结果如下：很明显，性能有所提升，但还不够完美。为什么？为了解决这个问题，研究人员首先将算法估计的每个物体的质量与其真实质量（归一化到太阳的质量范围内）进行了比较：与每个物体的真实质量相比，模型估计的质量偏差很大，有时甚至相差几个数量级规模。虽然GNN中的消息传递函数相当接近牛顿万有引力定律，但并不完全符合它。神经网络可以学习高度非线性的函数，但这些质量参数可能是GNN的良好输入，但不是符号版本GNN的最佳输入。因此，研究决定用固定的符号表达式对质量参数进行改装，而这种改进确实产生了更好的效果：此时，重新估算的天体质量与模型真实质量的对比结果如图所示下图：改进后，模型估计的天体质量与真实质量几乎完全吻合。为了解释这一点，研究人员认为所有需要做的就是证明算法的有效性。我们知道，一个天体的质量只影响它对其他天体的引力。例如，如果地球变大一倍，月球的轨道将受到很大影响，但地球绕太阳的轨道将保持不变。对于土卫六、许伯利安和海神这样的天体，由于它们是非常小的卫星，对其他天体运行轨迹的影响可以忽略不计。所以只要它们的质量很小，它们就不会以任何方式影响系统。为了检验这一理论，研究人员估计了每个物体对其他物体的引力影响，并将其与质量估计误差一起绘制成图。从上图可以看出，两者之间存在明显的负相关关系，也就是说一个天体对其他天体的引力影响越小，质量估计就越差。这也解释了算法是如何一步步成功学习万有引力定律并估计天体质量的。
