物理信息机器学习（Physics-informedmachinelearning，PIML）是指物理先验知识的高度抽象），结合数据驱动的机器学习模型，已成为缓解训练数据不足、提高模型泛化能力、保证结果物理合理性的有效途径。在本文中，我们调查了大量关于PIML的近期工作，并从三个方面对其进行了总结：(1)PIML发展的动机，(2)PIML中的物理知识，以及(3)物理知识的整合在PIML方法中。我们还讨论了当前的PIML挑战和相应的研究机会。论文标题：当物理学遇到机器学习时：基于物理学的机器学习论文链接的调查：https://arxiv.org/abs/2203.167971。简介：机器学习机器学习/深度学习模型中嵌入的物理知识已在一些领域取得巨大成功，如计算机视觉[1-5]和自然语言处理[6-14]，大量的训练数据和高度富有表现力的神经网络架构提供了超越以往方法的问题解决方案。因此，研究人员也开始探索应用机器学习模型来推进科学发现并进一步改进传统分析模型的可能性[15-21]。尽管给定一组输入和输出对，深度神经网络可以通过对足够大的数据进行适当优化来获得输入和输出之间的复杂关系，但先验知识在寻找最优解方面仍然起着重要作用。先验知识作为对数据分布和任务属性的高层抽取，如果融入得当，可以提供有限训练数据中不存在或难以抽取的丰富信息，有助于提高数据效率、泛化能力和生成模型理性。在漫长的历史长河中，物理知识在理论上和实验上都得到了明确的收集和验证，它包括在许多重要的科学和工程应用中对自然现象和人类行为的抽象和总结。因此，本文重点研究将先验物理知识集成到机器学习模型中的主题，即物理信息机器学习（PIML）。与知识图谱、逻辑规则和人类反馈[22]的集成等其他类型的先验知识相比，物理知识的集成由于其特殊的属性和形式需要特殊的设计。本文调查了大量关于PIML的近期工作，并从三个方面对其进行了总结。(1)PIML的动机可以进一步归类为使用机器学习来服务于物理领域的任务，并将物理原理集成到现有的机器学习模型中以用于现实世界的任务。(2)PIML中的物理知识，每一类都是一个涵盖广泛问题的一般原则。(3)PIML物理知识整合方法。根据知识集成的位置，我们将这些方法分为数据增强、神经网络架构设计和物理信息优化。本文结构如下。Section2使用PIML来分??析两大动机：一个主要服务于物理领域的任务，另一个服务于现实世界的问题。第3节介绍了PIML中广泛使用的几个一般物理原理。第4节研究整合物理知识的方法。第5节讨论了PIML的挑战和潜在的未来研究方向。第6节是全文的结论。2.MotivationforPIML:PhysicsforMachineLearning,MachineLearningforPhysics物理科学问题涉及各种数据密集型任务，包括时空数据建模、因果推理、计算机视觉、概率推理等。由于取得了巨大的成功由于机器学习方法在这些任务中的应用，近年来使用机器学习模型来推进物理学的科学发现越来越受到关注。另一方面，与现有的数值或纯基于物理的方法相比，基于物理的机器学习方法在灵活性、通用性和计算成本方面具有优势。同时，它们在物理上仍然是合理的。本节介绍了将机器学习用于多项物理相关任务的最新进展，包括替代模型模拟、数据驱动的PDE求解器、物理模型参数化、降维模型和知识发现。3.PIML中的物理知识本节介绍PIML中集成的几类一般物理知识。虽然更多的领域/任务特定知识可用于相应的解决方案，但我们在本节中介绍的每个类别都涵盖了广泛的问题，并给出了一组普遍适用的解决方案，而不是仅针对一个或两个特定任务的解决方案。首先是经典力学和能量守恒定律。牛顿力学、拉格朗日力学和哈密顿力学是描述经典力学系统的三种典型方法。牛顿力学广泛用于描述位置、速度、加速度和力之间的关系，而拉格朗日和哈密顿力学则提供了在动态系统建模中遵守能量守恒定律的有效工具。其次是对称性和不变量。在对象或系统上定义的对称性是保持某些属性不变的变换。典型的对称性包括视觉对象分类问题中的运动、分子属性预测问题中的旋转以及粒子系统中的排列。PIML中的一般物理知识还包括偏微分方程的数值方法和库普曼理论。4.PIML的方法一个典型的机器学习问题的解决方案涉及三个关键部分：数据、模型和优化，每个部分都可以与物理知识相结合。以下部分分别介绍了将物理知识融入每个部分的最新技术。但是，我们应该注意，这些技术并不相互排斥：物理知识可以集成到机器学习解决方案的多个部分中。我们根据物理知识的形式和集成方法对现有工作进行分类。我们注意到，对于具有分析形式的知识，现有工作可以整合所有三个维度的知识，包括数据、模型和优化。然而，整合其他一般类型物理知识的研究工作，包括能量守恒定律、对称性、偏微分方程的数值方法和库普曼理论，主要集中在将相应的知识整合到计算图中。主要原因是这种一般物理知识有可能转化为可重用网络架构中的归纳偏差，这在预测性能和数据效率方面优于数据增强和基于物理的损失函数。这是由于(1)适用于各种问题的物理学常识，导致了一般的网络架构，以及(2)比针对特定领域问题（如天气和湍流）设计的复杂数值模拟器更稳健的归纳偏差.简单的形式，它可以转化为不同可微算子的有限个组合。5.挑战和未来方向挑战1：手动选择导入的物理知识现有工作需要一些特定任务领域的专业知识，以选择最合适的物理知识。虽然这能够利用领域知识来减轻纯数据驱动方法的缺点，但它缺乏根据任务确定正确物理知识的灵活性。因此，一个研??究方向是自动识别适当的物理知识以纳入。这需要在特定领域的知识和纯数据驱动的方法之间找到一个中间点。挑战二：缺乏PIML方法的基准和评估综合性的基准对相应研究领域的发展起到了很大的推动作用。例如计算机视觉领域的ImageNetLargeScaleVisualRecognitionChallenge(ILSVRC)[23]和CommonObjectsinContext(COCO)[24]，统计机器翻译工作坊(WMT)[25]和StanfordQuestionAnswering自然语言处理领域数据集（SQuAD）[26]。但是，由于问题设置的复杂性，PIML仍然缺乏一个综合的基准来评价各种知识集成方法，这给PIML的发展带来了障碍。首先，PIML中的大多数问题都来自物理或工程应用，对于没有领域知识和经验的研究人员来说，数据采集和形式化任务可能具有挑战性。其次，现有的一些工作严重依赖于特定领域的数据集，这大大增加了对不同PIML方法进行公平比较的难度。构建PIML综合基准是推动其发展的迫切需要。挑战三：现有神经网络架构和PIML优化方法的次优性神经网络架构和优化方法的理论和实证结论大多是在神经网络方法最先取得优势的领域发展起来的，例如计算机视觉和自然语言处理。但是，它们在PIML中可能不再有效。原因是PIML方法通常在前向过程和目标函数中显式使用梯度，导致在后向过程中产生高阶导数，这使得优化空间的形状与典型的深度学习模型明显不同.例如，传统的参数初始化方法如Kaiming和Xavier是不够的，因为不寻常的优化目标是特别非线性的。PIML新颖的神经网络设计与传统的深度学习任务在网络结构和目标上存在巨大差异，这意味着PIML新颖的神经网络设计在结构和优化方面都很重要。6.结论本文对现有的PIML工作进行了彻底而全面的调查。文章从三个方面进行总结：（1）PIML的动机；(2)PIML中的物理知识；(3)PIML中的知识集成方法。最后，讨论了PIML存在的挑战，并相应地指出了未来潜在的研究方向。我们希望本文能为PIML用户选择合适的物理知识和合适的集成方法，以及PIML研究人员确定现有差距和有前景的研究方向提供指导。
