是视觉任务（如图像分类）的深度学习模型，通常使用单一视觉领域（如自然图像或图像）的数据进行端到端训练计算机生成的图像）??。一般来说，一个完成多领域视觉任务的应用需要为每个独立的领域建立多个模型，这些模型是独立训练的，不同领域之间不共享数据。在推理时，每个模型都会处理特定领域的输入数据。即使对于不同的领域，这些模型之间的早期层的一些特征是相似的，因此联合训练这些模型更有效。这减少了延迟和功耗，并降低了存储每个模型参数的内存成本，这种方法称为多域学习(MDL)。此外，MDL模型也可以胜过单域模型。在一个域上进行额外的训练可以提高模型在另一个域上的性能。这被称为“积极的知识转移”，但它也可能产生消极的知识转移。这取决于训练方法和特定领域的组合。虽然之前关于MDL的工作已经证明了跨域联邦学习任务的有效性，但它涉及一种手工制作的模型架构，在应用于其他工作时效率低下。论文链接：https://arxiv.org/pdf/2010.04904.pdf为了解决这个问题，在《Multi-pathNeuralNetworksforOn-deviceMulti-domainVisualClassification》一文中，谷歌研究人员提出了一种通用的MDL模型.文章称，该模型可以有效地实现高精度，减少负知识迁移，学习增强正知识迁移。在处理各种特定领域的困难时，可以有效地优化联合模型。为此，研究人员提出了一种多路径神经架构搜索（MPNAS）方法，为多个领域构建具有异构网络架构的统一模型。该方法将高效的神经架构搜索(NAS)方法从单路径搜索扩展到多路径搜索，共同为每个域寻找最佳路径。还引入了一种新的损失函数，称为自适应平衡域优先化(ABDP)，它适应特定领域的困难以帮助有效地训练模型。由此产生的MPNAS方法高效且可扩展。与单域方法相比，新模型将模型大小和FLOPS分别减少了78%和32%，同时保持性能没有下降。Multi-pathneuralarchitecturesearch为了促进positiveknowledgetransfer，避免negativetransfer，传统的解决方案是建立一个MDL模型，让每个domain共享大部分的层，学习每个domain的共享特征（称为特征抽取),然后在上面构建一些领域特定的层。然而，这种特征提取方法无法处理具有显着不同特征的域（例如自然图像和艺术绘画中的对象）。另一方面，为每个MDL模型构建统一的异构结构非常耗时，并且需要特定领域的知识。多路径神经搜索架构框架NAS是自动设计深度学习架构的强大范例。它定义了一个搜索空间，其中包含可以成为最终模型一部分的各种潜在构建块。搜索算法从搜索空间中找到最佳候选架构，以优化模型目标，例如分类准确性。最近的NAS方法（例如TuNAS）通过使用端到端路径采样来提高搜索效率。MPNAS受TuNAS的启发，分两个阶段构建MDL模型架构：搜索和训练。在搜索阶段，为了共同找到每个域的最优路径，MPNAS为每个域创建一个单独的强化学习（RL）控制器，它从超网络（即所有的端到端路径（来自输入层到输出层）在可能的子网络的超集中进行采样）。经过多次迭代，所有RL控制器都会更新路径以优化跨所有域的RL奖励。在搜索阶段结束时，我们为每个域获得一个子网。最后，将所有子网络组合起来，为MDL模型构建一个异构结构，如下图所示。由于每个域的子网络都是独立搜索的，因此每一层的构建块可以由多个域共享（即深灰色节点），由单个域使用（即浅灰色节点），或者不被任何子网络使用（即点节点）。每个域的路径在搜索过程中也可以跳过任意一层。鉴于子网络可以以优化性能的方式自由选择沿途使用哪些块，输出网络既异构又高效。下图显示了VisualDomainDecathlon中两个域的搜索架构。VisualDomainDecathlon是CVPR2017PASCALinDetailWorkshopChallenge的一部分，测试视觉识别算法处理（或利用）许多不同视觉域的能力。可以看出，这两个高度相关的域（一个为红色，另一个为绿色）的子网络共享它们重叠路径中的大部分构建块，但它们之间仍然存在差异。图中红色和绿色路径分别代表ImageNet和DescribableTextures的子网络，深粉色节点代表多个域共享的块，浅粉色节点代表每条路径使用的块。图中的“dwb”块表示dwbottleneck块。图中的零块表示子网跳过这个块。下图展示了上述两个字段的路径相似度。相似度是通过每个域的子网络之间的Jaccard相似度得分来衡量的，其中更高意味着更相似的路径。图为跨越十个域的路径之间的Jaccard相似度分数的混淆矩阵。分数范围从0到1，分数越大，两条路径共享的节点越多。TrainingHeterogeneousMulti-DomainModels在第二阶段，MPNAS生成的模型针对所有领域从头开始训练。为此，有必要为所有领域定义一个统一的目标函数。为了成功处理各种领域，研究人员设计了一种算法，该算法在整个学习过程中进行调整以平衡跨领域的损失，称为自适应平衡领域优先级(ABDP)。在不同设置下训练的模型的准确性、模型大小和FLOPS如下所示。我们将MPNAS与其他三种方法进行比较：领域独立NAS：分别为每个领域搜索和训练模型。Single-PathMulti-Head：使用预训练模型作为所有领域的共享主干，每个领域都有一个单独的分类头。Multi-headNAS：为所有域搜索一个统一的骨干架构，每个域都有单独的分类头。从结果中我们可以观察到，NAS需要为每个域构建一组模型，从而导致模型很大。尽管单路径多头和多头NAS可以显着减少模型大小和FLOPS，但强制域共享同一主干会引入负知识转移，从而降低整体准确性。相比之下，MPNAS可以构建小型高效模型，同时仍然保持较高的整体精度。MPNAS的平均准确率甚至比领域无关的NAS方法高出1.9%，因为该模型能够实现积极的知识迁移。下图比较了这些方法的每个域的top-1精度。评估表明，通过使用ABDP作为搜索和训练阶段的一部分，top-1准确率从69.96%提高到71.78%（增量：+1.81%）。?未来方向MPNAS是构建异构网络以解决数据不平衡、域多样性、负迁移、域可扩展性和MDL中可能的参数共享策略的大搜索空间的有效解决方案。通过使用类似MobileNet的搜索空间，生成的模型也适合移动设备。对于与现有搜索算法不兼容的任务，研究人员正在继续扩展MPNAS以进行多任务学习，并希望利用MPNAS构建统一的多领域模型。
