新手必读的机器学习算法Top10一共有多少种机器学习模型？不知道，没有人统计过。如果添加各种变体，将会更多。想到这里，是不是头都大了？这是否意味着一切都需要学习和理解？当然不是，但是如果你是新手，有以下10种算法，你一定要好好学习，理解这些，剩下的只是推论。在机器学习中，有一个定理叫做“天下没有免费的午餐”。简而言之，它指出没有一种算法对所有问题都是最有效的，它对监督学习（即预测建模）特别有用。例如，你不能说神经网络总是比决策树好，反之亦然。有很多因素在起作用，例如数据集的大小和结构。因此，您应该针对您的问题尝试许多不同的算法，同时使用一组“测试集”数据来评估性能并选择一个获胜者。当然，你尝试的算法必须适合你的问题，这就是选择正确的机器学习任务的原因。打个比方，如果你需要打扫你的房子，你可以使用吸尘器、扫帚或拖把，但你不会拿出你的铲子开始挖掘。大原则然而，所有用于预测建模的监督机器学习算法都有一个共同的原则。机器学习算法被描述为学习将输入变量(X)映射到输出变量(Y)的目标函数(f)：Y=f(X)这是我们希望在给定条件下完成的一般学习任务为了根据输入变量(X)的新样本预测未来(Y)，我们不知道函数(f)是什么样子或它的形式，因为如果我们知道，我们只会使用它并且我们'完成。它需要使用机器学习算法从数据中学习。最常见的机器学习类型是学习映射Y=f(X)以预测新X的Y，这称为预测建模或预测分析，我们的目标是做出最准确的预测。对于那些渴望了解机器学习基础知识的机器学习新手，这里简要介绍了数据科学家使用的十大机器学习算法。1—线性回归线性回归可能是统计和机器学习中最著名和最容易理解的算法之一。预测建模主要关注最小化模型的误差，或以牺牲某些可解释性为代价做出最准确的预测。我们将从许多不同领域（包括统计学）借用、重用和窃取算法，并将它们用于这些目的。线性回归的表示是一个方程，它通过找到称为系数(B)的输入变量的特定权重来描述最适合输入变量(x)和输出变量(y)之间关系的直线。线性回归示例：y=B0+B1*x我们要在给定输入x的情况下预测y，线性回归学习算法的目标是找到系数B0和B1的值。从数据中学习线性回归模型可以采用不同的技术，例如普通最小二乘法的线性代数解和梯度下降优化。线性回归已有200多年的历史，并得到了广泛的研究。使用此技术时，一些好的经验法则是删除非常相似（相关）的变量，并在可能的情况下从数据中删除噪声。这是一种快速、简单的技术，也是一个值得首先尝试的好算法。2—Logistic回归Logistic回归是机器学习从统计学领域借用的另一种技术。它是二元分类问题（具有两个类别值的问题）的首选方法。逻辑回归类似于线性回归，其目标是为每个输入变量找到权重系数的值。与线性回归不同，输出的预测是使用称为逻辑函数的非线性函数进行转换的。逻辑函数看起来像一个大S，它将任何值转换为0到1的范围。这很有用，因为我们可以对逻辑函数的输出应用规则，将值限制为0和1（例如输出如果小于0.5，则为1）并预测一个类值。逻辑回归由于模型的学习方式，逻辑回归所做的预测也可以用作给定数据实例属于0类或1类的概率。这对于需要对预测进行更多解释的问题很有用。与线性回归一样，当您删除与输出变量无关的属性以及彼此非常相似（相关）的属性时，逻辑回归的效果会更好。它是一种可以快速学习并有效解决二元分类问题的模型。3—线性判别分析逻辑回归是一种分类算法，传统上仅限于二分类问题。如果您有两个以上的类，那么线性判别分析算法是首选的线性分类技术。LDA的表示非常简单，它由数据的统计属性组成，这些属性是为每个类计算的。对于单个输入变量，包括：每个类的平均值。为所有类别计算的方差。线性判别分析预测是通过计算每个类的判别值，并对最大的类进行预测来实现的。该技术假定数据具有高斯分布（钟形曲线），因此最好在处理之前从数据中移除异常值。这是一种简单而强大的分类预测建模方法。4—分类与回归树决策树是预测建模的重要算法。决策树模型的表示是二叉树。这是一个算法和数据结构的二叉树，没什么特别的。每个节点代表一个输入变量(x)和该变量上的一个分叉点（假设该变量是数字）。决策树的叶节点包含用于进行预测的输出变量(y)。预测是通过遍历树的分裂直到到达叶节点并输出该叶节点的类值来完成的。树学起来很快，预测也很快。它们通常也适用于各种各样的问题，不需要任何特殊的数据准备。5—朴素贝叶斯朴素贝叶斯算法是一种简单但功能强大的预测建模算法。该模型由两种概率组成，可以直接从训练数据中计算出来：1）每个类别的概率；2)给定每个x值的每个类的条件概率。一旦计算出概率模型，就可以使用贝叶斯定理对新数据进行预测。当您的数据是实数时，通常会假定高斯分布（钟形曲线），以便您可以轻松估计这些概率。贝叶斯定理朴素贝叶斯之所以称为朴素贝叶斯，是因为它假定每个输入变量都是独立的。这是一个很强的假设，对于真实数据来说是不现实的，但是，这种技术对于许多复杂问题非常有效。6—K近邻KNN算法非常简单有效。KNN的模型表示是整个训练数据集。简单吧？通过在整个训练集中搜索最相似的K个样本（邻居）并将K个样本的输出相加来预测新的数据点。对于回归问题，这可能是平均输出值，对于分类问题，这可能是大多数（或最常见的）类别值。诀窍在于如何确定数据实例之间的相似性。如果您的属性都在相同的范围内（例如，所有英寸），最简单的方法是使用欧几里德距离，这是一个可以根据每个输入变量之间的差异直接计算的数字。K-NearestNeighborsKNN可能需要大量内存或空间来存储所有数据，但仅在需要预测时才执行计算（或学习）。您还可以随着时间的推移更新和管理您的训练样本，以保持预测准确性。KNN中距离或接近度的概念可以分解为非常高的维度（许多输入变量），这会对算法在问题上的性能产生负面影响。这被称为维数灾难。建议您仅使用与预测输出变量最相关的输入变量。7—学习向量量化k-近邻的缺点是需要保留整个训练数据集。学习矢量量化，简称LVQ，是一种人工神经网络算法，允许您选择要保留的训练样本数量，并准确了解这些样本应该是什么样子。用于学习向量量化的LVQ表示是一组码本向量。这些是在开始时随机选择的，并且不断适应以在学习算法的多次迭代中最好地总结数据集。学习后，可以像k-最近邻一样预测码本向量。通过计算每个码本向量与新数据之间的距离来找到最相似的邻居（最佳匹配码本向量）。然后返回最佳匹配单元的类值或（回归情况下的真实值）作为预测。如果将数据缩放到相同范围（例如0到1之间），则会获得最佳结果。如果您发现KNN在数据集上给出了良好的结果，请尝试使用LVQ来减少存储整个训练数据集的内存需求。8—支持向量机支持向量机可能是最流行的机器学习算法之一。超平面是划分输入变量空间的直线。在支持向量机中，选择超平面以根据类别（类别0或类别1）最好地分离输入变量空间中的点。在2D中，您可以将其视为一条直线，假设所有输入点都可以被这条线完全分隔开。支持向量机学习算法通过超平面寻找最优分割系数。SVM超平面与最近数据点之间的距离称为间隔。能够分离两个类的最佳或最佳超平面是具有最大边距的线。只有这些点与超平面的定义和分类器的构造有关。这些点称为支持向量。他们支持或定义超平面。在实际应用中，使用优化算法找出使边际最大化的系数值。SVM可能是最强大的开箱即用分类器之一，值得一试。9—baggingandRandomForest随机森林是最流行和最强大的机器学习算法之一。它是一种称为引导聚合或装袋的集成机器学习算法。Bootstrap是一种强大的统计方法，用于从数据样本中估计数量，例如均值。获取数据的多个样本，计算均值，然后对均值进行平均以获得对真实均值的更好估计。在装袋中，使用相同的方法，但用于估计整个统计模型，最常见的是决策树。获取训练数据的多个样本，并为每个样本数据集构建模型。当您需要对新数据进行预测时，每个模型都会进行预测并对预测进行平均，以获得对真实输出值的更好估计。随机森林是对这种创建决策树方法的改进。它不是选择最佳分割点，而是通过引入随机性进行次优分割。因此，为每个数据集的采样创建的模型与其他方式相比更加不同，但仍然准确。结合他们的预测，可以更好地估算出实际的产值。如果您使用具有高方差的算法（例如决策树）获得了良好的结果，则通常可以通过装袋该算法来获得更好的结果。10—Boosting算法和AdaBoostboosting是一种集成技术，它试图从一些弱分类器中创建一个强分类器。它通过从训练数据构建一个模型，然后创建第二个模型来尝试纠正第一个模型中的错误来实现这一点。添加模型，直到训练集被完美预测或模型数量达到最大值。AdaBoost是第一个真正成功的二进制分类增强算法。这是理解提升算法的最佳起点。现代的boosting算法都是在AdaBoost的基础上发展起来的，最著名的是随机梯度boosting算法。AdaboostAdaBoost用于短决策树。创建第一棵树后，用这棵树计算每个样本的表现（它与标签的差异），用来衡量下一棵树会更关注哪些样本。难以预测的训练数据被赋予更大的权重，而易于预测的数据被赋予更少的权重。模型是按顺序创建的，每个模型都会更新影响序列中下一棵树执行的学习的训练样本的权重。构建完所有树后，预测新数据，并根据其在训练数据集上的表现对每棵树进行加权。由于算法非常注重纠错，因此拥有去除异常值的干净数据非常重要。专注并记得带走当面对各种各样的机器学习算法时，初学者通常会问这样一个问题：“我应该使用哪种算法？”这个问题的答案取决于许多因素，包括：(1)数据的大小、质量和性质；(2)可用的计算时间；（三）任务的紧迫性；(4)数据将如何处理。即使是经验丰富的数据科学家，在尝试不同的算法之前也无法判断哪种算法表现最好。虽然还有许多其他机器学习算法，但这些是最受欢迎的。如果您不熟悉机器学习，那么这是一个很好的起点。英文原文：https://towardsdatascience.com/a-tour-of-the-top-10-algorithms-for-machine-learning-newbies-dde4edffae11
