在过去的几年里，深度学习已经成为大多数AI类型问题的最先进技术，让经典机器学习黯然失色。一个明显的原因是深度学习在包括语音、自然语言、视觉和玩游戏在内的各种任务中反复展示了卓越的性能。然而，尽管深度学习的性能如此之高，但使用经典机器学习和一些特定案例，最好使用线性回归或决策树而不是大型深度网络。在本文中，我们将深度学习与传统机器学习技术进行比较。在此过程中，我们将找出这两种技术的优缺点，以及它们的最佳使用地点和方式。深度学习>经典机器学习***性能：深度网络在语音、自然语言、视觉、游戏等诸多领域的准确率远超传统机器学习方法。在许多任务中，经典ML甚至无法与之抗衡。例如，下图显示了不同方法在ImageNet数据集上的图像分类精度，蓝色代表经典ML方法，红色代表深度卷积神经网络(CNN)方法。使用数据进行有效扩展：与传统的ML算法相比，深度网络使用更多数据可以更好地扩展。下图是一个简单但有效的示例。很多时候，提高深度网络准确性的最佳建议是使用更多数据！对于经典的ML算法，这种快速简单的修复几乎没有效果，而且通常需要更复杂的方法来提高准确性。无需特征工程：经典机器学习算法通常需要复杂的特征工程。首先对数据集进行深度探索性数据分析，然后进行简单的降维过程。***，必须仔细选择***特征才能传递给ML算法。当使用深度网络时，这不是必需的，因为通常可以通过简单地将数据直接传递到网络来实现良好的性能。这完全消除了整个过程中庞大且具有挑战性的特征工程阶段。适应性强，易于改造：与传统的机器学习算法相比，深度学习技术更容易适应不同的领域和应用。首先，迁移学习可以有效地将预训练的深度网络适应同一领域内的不同应用。例如，在计算机视觉中，预训练图像分类网络通常用作对象检测和分割网络的特征提取前端。使用这些预训练的网络作为前端可以简化整个模型的训练，并且通常有助于在更短的时间内实现更高的性能。此外，不同领域中使用的深度学习的基本思想和技术往往可以完全转移。例如，一旦你理解了语音识别领域的底层深度学习理论，学习如何将深度网络应用于自然语言处理就不会太具有挑战性，因为基线知识非常相似。经典ML并非如此，因为构建高性能ML模型需要特定领域和特定应用程序的ML技术和特征工程。经典ML的知识库对于不同的领域和应用程序是非常不同的，并且通常需要在每个单独的领域内进行广泛的专业研究。ClassicalMachineLearning>DeepLearningisbetterforsmalldata：为了实现高性能，深度网络需要非常大的数据集。前面提到的预训练网络是在120万张图像上训练的。对于许多应用程序来说，如此庞大的数据集并不容易获得，而且可能既昂贵又耗时。对于较小的数据集，传统的ML算法通常优于深度网络。在经济上和计算上都很便宜：深度网络需要高端GPU在合理的时间内对大量数据进行训练。这些GPU非常昂贵，但如果没有它们，训练深度网络以实现高性能实际上是不可行的。有效使用如此高端的GPU还需要快速的CPU、SSD存储以及快速且大容量的RAM。传统的ML算法只需要一个像样的CPU就可以很好地训练，而不需要花哨的硬件。由于它们在计算上并不昂贵，因此您可以更快地迭代并在更短的时间内尝试许多不同的技术。更易于理解：由于传统机器学习中直接涉及特征工程，这些算法易于解释和理解。此外，调整超参数和更改模型设计也更容易，因为我们对数据和底层算法有了更全面的了解。另一方面，深度网络属于“黑匣子”类型，即使是现在，研究人员也无法完全了解深度网络的“内部”。由于缺乏理论基础、超参数和网络设计，这也是一个相当大的挑战。
