AutoML不是万灵药！新评论火了。网友：了解深度学习领域现状必读如今，深度学习模型的发展已经非常成熟，已经进入大规模应用阶段。然而，在设计模型时，不可避免地要经历迭代过程，这是模型设计复杂、成本高的核心原因，以前通常由经验丰富的工程师来完成。迭代过程之所以如此“烧金”，是因为在这个过程中，面临着大量的开放性问题（openproblems）。这些悬而未决的问题究竟出现在哪里？怎么解决，能并行解决吗？现在一篇paperreview终于介绍了这个，一发表就在网上炸开了锅。作者严谨地参考了近300篇文献，分析了大量深度学习应用中的开放性问题，力求让读者了解该领域的最新动态。网友纷纷在评论区“代码直播”留言“必读了解深度学习领域现状”。一起来看看内容吧。这篇论文的研究内容是什么？众所周知，当我们拿到一个机器学习问题时，通常的流程分为以下几个步骤：收集数据、编写模型、训练模型、评估模型、迭代、测试、产品化。在本文中，作者将这些过程比作两级优化问题。内部优化循环需要最小化衡量模型效果评估的损失函数，其背后是经过充分研究的训练过程，以找到最佳模型参数。Lessresearchhasbeendoneontheouteroptimizationloop,whichinvolvesmaximizinganappropriatelychosenperformancemetrictoevaluatevalidationdata,whichiswhatwecallan"iterativeprocess",thatis,thepursuitofoptimalmodelhyperparameters.论文中使用的数学符号表示如下：其中，Mval表示一个性能指标，如精度、平均精度等。Ltrain表示损失函数，w表示模型参数。这样，只有一个清晰统一的数学公式可以解释迭代步骤。但值得注意的是，面对不同的问题，其解决方案也需要具体分析，有时情况甚至非常复杂。例如，评估指标Mval是一个离散且不可微分的函数。它没有很好的定义，有时甚至不存在于一些自监督和无监督学习和生成建模问题中。同时，你也可能设计了一个很好的损失函数Ltrain，结果发现它是离散的或者不可微的，这样的话就会变得很棘手，需要通过特定的方式来解决。因此，本文的研究重点是迭代过程中遇到的各种开放性问题，以及在这些问题中可以并行求解优化的一些情况。开放式问题，无法用简单的“是”、“否”或其他简单的词或数字轻易回答的问题。机器学习中有哪些未解决的问题？论文将开放问题类型分为两类：监督学习和其他方法。值得一提的是，无论是监督学习还是其他方法，作者都附上了相应的教程地址：如果对概念本身不理解，可以直接点开他讲的视频课程学习，不要担心它。迷茫的地方。让我们从监督学习开始。这里就不得不提AutoML了。作为一种在开发过程中降低迭代复杂度的“惰性”方法，在机器学习中得到了广泛的应用。一般来说，AutoML更侧重于监督学习方法的应用，尤其是图像分类问题。毕竟图像分类可以明确的以准确率作为评价指标，使用AutoML还是很方便的。但是如果同时考虑多个因素，尤其是包括计算效率在内，是否可以进一步优化这些方法呢？在这种情况下，如何提高性能就成了一个悬而未决的问题，分为以下几类：大模型、小模型、模型鲁棒性、可解释AI、迁移学习、语义分割、超分辨率&降噪&着色、PoseEstimation、OpticalFlow&DepthEstimation、ObjectDetection、FaceRecognition&Detection、Video&3DModel等，这些不同的领域也面临着不同的开放问题。例如，大模型中的学习率不是一个常数，而是一个函数，这将成为悬而未决的问题之一。相反，小型模型将性能和内存（或计算效率）之间的权衡视为一个悬而未决的问题。其中，小模型通常应用于物联网、智能手机等小型设备，对计算能力的要求低于大模型。再比如，对于物体检测这样的模型，如何优化不同物体之间的检测精度，也是一个复杂的开放性问题。在这些未解决的问题中，许多可以并行解决。例如，在迁移学习中，迭代过程中学习到的特征对下游任务的泛化和可迁移性的影响是一个可以并行研究的过程。同时，并行处理开放问题面临的难度也不尽相同。例如，基于3D点云数据同时实现目标识别、检测和语义分割比基于2D图像的目标识别、检测和分割任务更具挑战性。再看看除了监督学习之外的其他方法，分为这几类：自然语言处理（NLP）、多模态学习、生成网络、领域自适应、少样本学习、半监督&自监督学习、语音模型、Intensive学习，物理知识学习等。以自然语言处理为例，多任务学习给模型带来了新的开放问题。和经典的BERT模型一样，它不具备自我翻译的能力。因此，为了同时提高多个下游任务的性能指标，研究者需要权衡各种目标函数之间的结果。再比如生成模型中的CGAN（conditionalGAN），它就像是一个image-to-imagetranslation问题，也就是将一张图片转换成另一张图片的过程。这个过程需要多个独立损失函数的加权组合，总损失函数的最小化是另一个悬而未决的问题。其他不同的问题和模型在具体应用中也会遇到不同类型的开放性问题，所以还是需要具体问题具体分析。在分析了机器学习的各个领域之后，作者得出了一些看法。一方面，AI表面上是一个“自动化”过程，从大量数据中产生自己的理解。但是，它实际上涉及到大量的人为操作，其中很多甚至是重复性的行为。这称为“迭代过程”。”。另一方面，虽然这些任务可以通过AutoML部分精简，但AutoML目前仅在图像分类方面表现良好，并不意味着它在其他领域任务中也会成功。总而言之，应用深度领域的开放问题学习仍然比很多人想象的要复杂作者简介本文作者是MaziarRaissi，现任美国科罗拉多大学博尔德分校应用数学系助理教授。Raissi获得应用数学博士学位。马里兰大学帕克分校数学与统计学，布朗大学应用数学系博士后研究，NVIDIA高级软件工程师。数据驱动的科学计算，以及大数据分析、经济学、金融学等。论文链接如下，int感兴趣的小伙伴们可以自行收藏~论文地址：https://arxiv.org/abs/2301.11316
