在机器学习领域，一些模型非常有效，但我们不完全确定为什么。相反，一些相对容易理解的研究领域在实践中的适用性有限。本文基于对机器学习的实用性和理论理解，探讨了各个子领域的进展。这里的实验效用是一种综合考虑，它考虑了一种方法的适用范围、实施的难易程度，最重要的是它在现实世界中的实用性。有些方法不仅实用性强，而且应用范围广泛；而有些方法虽然功能强大，但仅限于特定领域。可靠、可预测且没有重大缺陷的方法被认为具有更高的实用性。所谓理论理解就是考虑模型方法的可解释性，即输入和输出之间的关系是什么，如何得到预期的结果，这个方法的内部机制是什么，考虑深度和完备性涉及该方法的文献。理论理解力低的方法通常使用启发式或大量试验和错误来实现；具有高理论理解的方法往往具有公式化的实现，具有强大的理论基础和可预测的结果。线性回归等较简单的方法具有较低的理论上限，而深度学习等较复杂的方法具有较高的理论上限。当谈到一个领域的文献的深度和完整性时，该领域是根据该领域假设的理论上限进行评估的，部分依赖于直觉。我们可以将效用矩阵构造为四个象限，轴的交点表示具有平均理解力和平均效用的假设参考域。这种方法允许我们根据域所在的象限以定性方式解释域，如下图所示，给定象限中的域可能具有与该象限对应的部分或全部特征。一般来说，我们期望效用和理解是松散相关的，使理论理解高的方法比理解低的方法更有用。这意味着大多数字段应位于左下或右上象限。远离左下-右上对角线的字段表示异常。一般来说，实用性应该落后于理论，因为将新生的研究理论转化为实际应用需要时间。因此，这条对角线应该位于原点上方，而不是直接穿过原点。2022年的机器学习领域上图中并非所有领域都完全包含在机器学习（ML）中，但它们都可以应用在ML的上下文中或与之密切相关。许多评估领域重叠且无法清楚描述：强化学习、联邦学习和图ML的高级方法通常基于深度学习。因此，我考虑了它们的理论和实践效用的非深度学习方面。右上象限：高理解力、高实用性线性回归是一种简单、易懂且高效的方法。虽然经常被低估和忽视。,但其广泛的用途和透彻的理论基础将其置于图中的右上角。传统的机器学习已经发展成为一个高度理论理解和实践的领域。复杂的ML算法，例如梯度提升决策树(GBDT)，已被证明在某些复杂的预测任务中通常优于线性回归。大数据问题当然就是这种情况。可以说，对过度参数化模型的理论理解仍然存在漏洞，但实施机器学习是一个微妙的方法论过程，如果做得好，模型可以在行业中可靠地运行。然而，额外的复杂性和灵活性确实会导致一些错误，这就是为什么我将机器学习放在线性回归的左侧。一般来说，有监督的机器学习比无监督的机器学习更精细、更有影响力，但这两种方法都有效地解决了不同的问题空间。贝叶斯方法有一群从业者，他们吹捧它优于更流行的经典统计方法。贝叶斯模型在某些情况下特别有用：当单靠点估计是不够的，不确定性的估计很重要时；当数据有限或严重缺失时；以及当您了解要明确包含在模型小时中的数据生成过程时。贝叶斯模型的实用性受到以下事实的限制：对于许多问题，点估计已经足够好，以至于人们只是默认使用非贝叶斯方法。此外，还有一些方法可以量化传统机器学习中的不确定性（只是很少使用）。通常，不管数据生成机制和先验如何，简单地将ML算法应用于数据会更容易。贝叶斯模型在计算上也很昂贵，如果理论进步导致更好的采样和近似方法，则可能具有更大的实用性。右下象限：低理解，高实用与大多数领域的进步相反，深度学习取得了一些惊人的成功，尽管理论方面已被证明很难取得根本性的进步。深度学习体现了一种鲜为人知的方法的许多特征：模型不稳定，难以可靠地构建，基于弱启发式进行配置，并产生不可预测的结果。随机种子“调整”等有问题的做法非常普遍，工作模型的机制也很难解释。然而，深度学习在计算机视觉和自然语言处理等领域继续取得进步并达到超人的性能水平，开辟了一个充满其他无法理解的任务的世界，例如自动驾驶。假设通用人工智能将占据右下角，因为根据定义，超级智能超出了人类的理解范围，可以用来解决任何问题。目前，它只是作为一个思想实验被包括在内。每个象限的定性描述。字段可以通过其相应区域中的部分或全部描述来描述左上象限：高理解，低效用大多数形式的因果推理不是机器学习，但有时是，并且总是对预测模型感兴趣。因果关系可分为随机对照试验(RCT)和更复杂的因果推断方法，后者试图根据观察数据衡量因果关系。RCT在理论上很简单并给出严格的结果，但在现实世界中执行起来通常很昂贵且不切实际（如果不是不可能的话），因此实用性有限。因果推理方法本质上是在不做任何事情的情况下模仿随机对照试验，这使得它们的执行难度大大降低，但有许多局限性和陷阱可能会使结果无效。总的来说，因果关系仍然是一个令人沮丧的追求，目前的方法往往达不到我们想问的问题，除非这些问题可以通过随机对照试验进行探索，或者它们恰好符合某些框架（例如，作为“自然实验”）。联邦学习(FL)是一个很酷的概念，但很少受到关注——可能是因为它最引人注目的应用程序需要分发到大量智能手机设备上，所以FL只有两个参与者可以真正发挥作用：苹果和谷歌。FL还存在其他用例，例如汇集专有数据集，但协调这些举措的政治和后勤挑战限制了它们在实践中的实用性。尽管如此，对于听起来像是一个异国情调的概念（大致概括为：“将模型带到数据中，而不是将数据带到模型中”），FL是有效的，并且在键盘文本预测和个性化新闻推荐等领域都有应用.有形的成功案例。FL背后的基本理论和技术似乎足以让FL得到更广泛的采用。强化学习(RL)在国际象棋、围棋、扑克和DotA等游戏中达到了前所未有的能力水平。但在视频游戏和模拟环境之外，强化学习尚未令人信服地转化为现实世界的应用。机器人技术本应成为强化学习的下一个前沿领域，但这并没有发生——现实似乎比高度受限的玩具环境更具挑战性。也就是说，RL迄今为止取得的成就令人鼓舞，真正喜欢国际象棋的人可能会争辩说它的效用应该更高。我希望看到RL在将其放在矩阵的右侧之前实现其一些潜在的实际应用。左下象限：低理解力、低效用图神经网络(GNN)现在是机器学习中非常热门的领域，在多个领域都取得了可喜的成果。但对于其中许多示例，尚不清楚GNN是否比使用更传统的结构化数据与深度学习架构配对的替代方案更好。数据自然是图结构的问题，例如化学信息学中的分子，似乎具有更引人注目的GNN结果（尽管这些通常不如非图相关方法）。与大多数领域相比，用于大规模训练GNN的开源工具与工业中使用的内部工具之间似乎存在很大差异，限制了这些围墙花园之外的大规模GNN的可行性。该领域的复杂性和广度表明理论上限很高，因此GNN应该有成熟的空间，并令人信服地展示某些任务的优势，这将带来更大的实用性。GNN也可以从技术进步中受益，因为图目前不能自然地适应现有的计算硬件。可解释机器学习(IML)是一个重要且有前途的领域，将继续受到关注。SHAP和LIME等技术已成为查询ML模型的非常有用的工具。然而，由于采用有限，现有方法的效用尚未完全实现——尚未建立稳健的最佳实践和实施指南。然而，IML目前的主要弱点是它没有解决我们真正感兴趣的因果问题。IML解释了模型如何进行预测，但没有解释基础数据如何与它们有因果关系（尽管经常被误解为这样）。在取得重大理论进展之前，IML的合法用途主要限于模型调试/监控和假设生成。量子机器学习(QML)完全不在我的掌控范围之内，但目前看起来像是一个假设性的练习，耐心等待可行的量子计算机可用。在那之前，QML位于左下角，可以忽略不计。在增量进步、技术飞跃和范式转变领域，理论理解和实证效用矩阵通过三种主要机制进行遍历（图2）。字段可以遍历矩阵的方式的说明性示例。渐进式渐进是缓慢而稳定的渐进，在矩阵右侧的英寸字段中向上移动。过去几十年的监督机器学习就是一个很好的例子，在此期间，越来越有效的预测算法得到改进和采用，为我们提供了我们今天喜爱的强大工具箱。渐进式进步是所有成熟领域的现状，但由于技术飞跃和范式转变而经历更剧烈运动的时期除外。由于技术的飞跃，一些领域的科学进步发生了阶跃变化。*深度学习*领域并没有被其理论基础所揭示，这些理论基础在2010年代深度学习热潮出现之前20多年就被发现了——它的复兴是由消费级GPU驱动的并行处理推动的。技术飞跃通常表现为沿着实证效用轴向右跳跃。然而，并非所有以技术为主导的进步都是突飞猛进的。今天的深度学习的特点是通过使用越来越多的计算能力和越来越专业化的硬件来训练越来越大的模型，从而取得渐进式进步。在此框架内科学进步的最终机制是范式转变。正如ThomasKuhn在他的《科学革命的结构》一书中指出的那样，范式转换代表了科学学科的基本概念和实验实践的重要变化。一个这样的例子是由DonaldRubin和JudeaPearl开创的因果框架，它将因果关系领域从随机对照试验和传统统计分析提升为以因果推理形式出现的更强大的数学化学学科。范式转变通常表现为理解力的上升，这可能伴随着或伴随着效用的增加。但是，范式转换可以在任何方向上遍历矩阵。这最初对应于效用和理解的下降，因为神经网络（以及随后的深度神经网络）将自己确立为传统??ML的独立范例。许多新兴领域以这种方式从更成熟的研究领域中分支出来。预测和深度学习的科学革命总而言之，这里有一些我认为未来可能发生的推测性预测（表1）。右上象限中的字段被省略，因为它们太成熟以至于看不到重大进展。表1：机器学习几个主要领域的未来进展预测。然而，比个别领域如何发展更重要的观察是经验主义的普遍趋势，以及越来越愿意承认全面的理论理解。从历史上看，理论（假设）是先出现的，想法是后形成的。但深度学习开创了一个新的科学过程，颠覆了这一点。也就是说，在人们关注理论之前很久，方法就有望展示最先进的性能。实证结果为王，理论可有可无。这导致了机器学习研究中的系统性广泛博弈，通过简单地修改现有方法并依靠随机性来超越基线来获得最先进的结果，而不是有意义地推进该领域的理论。但也许这就是我们为新一波机器学习热潮付出的代价。图3：2022年深度学习发展的3条潜在轨迹。深度学习是否会不可逆转地走向结果导向的过程，将理论理解退化为可选性，这可能是2022年的引爆点。我们应该思考以下问题：理解赶上实用性，将深度学习转变为像传统机器学习一样结构化程度更高的学科？现有的深度学习文献是否足以通过扩展越来越大的模型来无限增加效用？或者，一个实证上的突破是否会让我们更深入地进入一个增强效用的新范式，尽管我们对此知之甚少？这些路线中的任何一条都通向通用人工智能吗？只有时间会给出答案。
