领域泛化（DomainGeneralization，DG）是近年来非常热门的研究方向。它研究的问题是从多个数据分布不同的数据集（领域）中学习一个泛化能力强的模型，以在未知（Unseen）测试集上取得更好的效果。本文呈现了DG领域的第一篇综述文章《Generalizing to Unseen Domains: A Survey on Domain Generalization》。该论文共调查了160篇文档，其中90篇与领域泛化直接相关。文章从问题定义、理论分析、方法总结、数据集和应用介绍、未来研究方向等几个方面对领域泛化问题进行了详细的归纳总结。这篇论文的浓缩版已经被国际人工智能会议IJCAI-21接受。文章链接：https://arxiv.org/abs/2103.03097PDF：https://arxiv.org/pdf/2103.03097作者单位：微软亚洲研究院、中央财经大学问题定义领域泛化问题与领域适应（DomainAdaptation,DA)最大的区别：DA在训练时可以同时访问源域和目标域数据（无监督DA只有未标记的目标域数据）；在DG问题中，我们只能访问几个，不像源域数据进行训练，测试数据是不可访问的。毫无疑问，DG是比DA更具挑战性和实用性的场景：毕竟我们都喜欢“trainonceandapplyeverywhere”的足够泛化的机器学习模型。比如下图中，DA问题假设训练时训练集和测试集都可以访问，而DG问题只有训练集。DG问题的示意图如下所示，其形式化定义如下：DG不仅与DA问题有相似之处，与多任务学习、迁移学习、元学习、终身学习也有一些异同等。我们在下表中总结了它们的差异。Theory我们从领域适应理论出发，分析影响不同领域学习结果的因素，如-divergence，-divergence等，然后过渡到domain域泛化问题，分析影响泛化的因素新领域的模式。从理论上总结了领域泛化问题的重要成果，为今后的相关研究指明了理论方向。详细结果请参考原文第三部分。方法域泛化方法是我们的??核心。我们根据数据操作、表示学习和学习策略将现有的领域泛化方法分为三个方面，如下图所示。其中：数据操作是指通过增强和改变数据来增强训练数据。该类别包括两部分：数据扩充和数据生成。表征学习是指学习领域不变的表征学习，使模型能够很好地适应不同的领域。域不变特征学习主要包括四个部分：核方法、显式特征对齐、域对抗训练和不变风险最小化（IRM）。特征解耦与域不变特征学习的目标是一致的，但学习方法不一致。我们单独作为一个大类来介绍。学习策略是指将机器学习中成熟的学习模型引入到多领域训练中，使模型具有更强的泛化能力。这部分主要包括基于集成学习和元学习的方法。同时，我们还介绍了其他方法，例如自监督方法在领域泛化中的应用。在文章中，我们详细介绍和总结了每一类方法。应用程序和数据集域泛化问题已在许多领域得到广泛应用。大多数现有工作都集中在设计更好的DG方法上，因此它们通常在图像分类数据上进行评估。此外，DG方法也被应用于行人再识别（Re-ID）、语义分割、街景识别、视频理解等主流计算机视觉任务。特别是DG方法广泛应用于医疗保健领域，如帕金森病识别、组织分割、胸部X光识别、震颤检测等。在自然语言处理领域，DG用于情感分析等应用、语义分割和网页分类。DG也被广泛应用于强化学习、自动控制、故障检测、语音检测、物理学、脑机接口等领域。下图显示了领域泛化问题中流行的标准数据集。未来的挑战我们对DG有以下展望：持续域泛化：一个系统应该具有持续泛化和适应的能力，目前只是离线应用。新类别的领域泛化：目前我们假设所有的领域都有相同的类别，未来我们需要扩展到不同的类别，甚至是新的类别。可解释域泛化：虽然基于解耦的方法在可解释性方面取得了进步，但其他大类方法的可解释性仍然不强。未来需要进一步研究它们的可解释性。大规模预训练和领域泛化：众所周知，大规模预训练（如BERT）已经成为主流，那么在不同问题的大规模预训练中，如何利用DG方法进一步提高这些预训练模型的泛化能力?域泛化评估：尽管有经验证据表明现有的域泛化方法并不优于经验风险最小化，但它们仅基于最简单的分类任务。我们认为DG需要在具体的评估中发挥最大的作用，比如行人重识别。未来需要为DG问题寻找更合适的应用场景。
