本文主要回顾几种常用算法的适配场景和优缺点！（提示：部分??内容摘自网络）。机器学习的算法太多了，分类、回归、聚类、推荐、图像识别等等，要找到一个合适的算法确实不容易，所以在实际应用中，我们一般都是采用启发式学习的方法进行实验。通常一开始我们会选择大家普遍认可的算法，比如SVM、GBDT、Adaboost。现在深度学习很火，神经网络也是不错的选择。如果你很在意精度，最好的办法是通过交叉验证对每个算法进行一个一个的测试，比较，然后调整参数，保证每个算法都达到最优解，***选择最好的。但如果你只是在寻找一个“足够好”的算法来解决你的问题，或者这里有一些小技巧供参考，我们来分析一下每个算法的优缺点，根据算法的优缺点，更容易我们来选择它。Bias&Variance在统计学中，一个模型的好坏是由偏差和方差来衡量的，所以我们先普及一下偏差和方差：偏差：它描述了预测值（估计值）的期望E'与实际值之间的差距Y.偏差越大，越偏离真实数据。方差：描述预测值P的变化范围和离散程度，即预测值的方差，即与其期望值E的距离。方差越大，则分布越分散数据。36大数据（http://www.36dsj.com/）模型的真实误差是两者之和，如下图所示：如果是小训练集，一个分类器偏差高/低方差（例如NaiveBayesianNB）比低偏差/高方差大分类器（例如KNN）更有优势，因为后者会过拟合。然而，随着训练集的增长，模型在预测原始数据方面变得更好并且偏差减小，此时低偏差/高方差分类器将逐渐显示其优势（因为它们具有较低的梯度接近误差），此时高偏差分类器不再足以提供准确的模型。当然，你也可以认为这是生成模型（NB）和判别模型（KNN）的区别。为什么朴素贝叶斯是高偏差和低方差？以下引用自知乎：首先，假设你知道训练集和测试集的关系。简单来说，我们需要在训练集上学习一个模型，然后用在测试集上。效果好不好取决于测试集的错误率。但在很多情况下，我们只能假设测试集和训练集符合相同的数据分布，而无法得到真实的测试数据。这时候，我们只看到训练错误率，如何衡量测试错误率呢？由于训练样本很少（至少不够），通过训练集得到的模型总是不正确的。（即使在训练集上正确率为100%，也不代表它刻画了真实的数据分布，要知道刻画真实的数据分布才是我们的目的，而不是只刻画训练的有限数据点放）。而且在实践中，训练样本往往存在一定的噪声误差，所以如果过分追求训练集的准确性，使用非常复杂的模型，会使模型把训练集中的误差当成真实的数据。分布特征，导致错误的数据分布估计。这样的话，到了真正的测试集上就会一团糟（这种现象叫做过拟合）。但是不能用太简单的模型，否则当数据分布比较复杂时，模型不足以描述数据分布（体现在训练集上即使错误率很高，这种现象也不太拟合).过拟合是指采用的模型比真实的数据分布更复杂，而欠拟合是指采用的模型比真实的数据分布更简单。在统计学习的框架下，我们在描述模型的复杂度时，有这样一种观点，Error=Bias+Variance。这里的Error可以大致理解为模型的预测误差率，它由两部分组成，一部分是模型过于简单导致的估计不准确部分（Bias），另一部分是模型本身造成的过于复杂变化和不确定性（方差）的空间更大。因此，这样分析朴素贝叶斯很容易。它只是假设数据是无关紧要的，是一个极度简化的模型。因此，对于这样一个简单的模型，在大多数情况下，Bias部分大于Variance部分，即高偏差低方差。在实践中，为了让Error尽可能小，我们在选择模型时需要平衡Bias和Variance的比例，即平衡过拟合和欠拟合。偏差和方差与模型复杂度的关系用下图更清楚：当模型复杂度增加时，偏差会逐渐减小，而方差会逐渐增大。常用算法的优缺点1.朴素贝叶斯朴素贝叶斯是一种生成模型（关于生成模型和判别模型，主要是是否需要联合分布），很简单，你就是做一堆计数。如果存在条件独立假设（更严格的假设），朴素贝叶斯分类器将比逻辑回归等判别模型收敛得更快，因此您只需要较少的训练数据。即使NB条件独立假设不成立，NB分类器在实践中仍然表现非常好。它的主要缺点是无法学习特征之间的交互。用mRMR中的R来说，就是特征冗余。举一个比较经典的例子，比如，虽然你喜欢布拉德皮特和汤姆克鲁斯的电影，但不能得知你不喜欢他们一起演的电影。优点：朴素贝叶斯模型源于经典数学理论，数学基础扎实，分类效率稳定。在小规模数据上表现良好，可以处理多种分类任务，适合增量训练；对缺失数据不敏感，算法比较简单，常用于文本分类。缺点：需要计算先验概率；分类决策存在错误率；它对输入数据的表达形式敏感。2.逻辑回归（LogisticRegression）属于判别模型，有很多正则化模型的方法（L0，L1，L2等），你不用像你使用的那样担心你的特征是否相关朴素贝叶斯。与决策树和SVM机器相比，您还可以获得不错的概率解释，您甚至可以使用新数据轻松更新模型（使用在线梯度下降）。如果您需要一个概率框架（例如，简单地调整分类阈值、指示不确定性或获得置信区间），或者如果您想稍后将更多训练数据快速合并到模型中，请使用它。Sigmoid函数：优点：实现简单，广泛应用于工业问题；计算量极小，速度快，分类存储资源少；方便观察样本概率得分；对于逻辑回归，多重共线性不是问题，可以结合L2正则化来解决这个问题；缺点：当特征空间很大时，逻辑回归的表现不是很好；容易欠拟合，一般准确率不高，无法处理大量的multi-classfeatures或Variable；只能处理二分类问题（在此基础上推导的softmax可用于多分类），且必须是线性可分的；对于非线性特征，需要进行转换；3.线性回归线性回归用于回归，不像Logistic回归用于分类，其基本思想是利用梯度下降法以最小二乘法的形式优化误差函数。当然也可以用正规方程直接求出参数的解。结果为：而在LWLR(Inlocalweightedlinearregression)中，参数的计算表达式为：可见LWLR不同于LR，LWLR是非参数模型，因为每次回归计算都需要遍历训练样本至少一次。优点：实现简单，计算简单；缺点：不能拟合非线性数据。4.最近邻算法——KNNKNN即最近邻算法。主要过程为：1.计算训练样本中每个样本点与测试样本的距离（常用的距离度量有欧氏距离、马氏距离等）；2.对以上所有距离值进行排序；3.选择距离最小的前k个样本；4.根据这k个样本的标签进行投票，得到最好的分类类别；如何选择最佳K值取决于数据。一般来说，较大的K值可以减少分类时噪声的影响。但它可以模糊类别之间的界限。可以通过各种启发式技术（例如交叉验证）获得良好的K值。另外，噪声和非相关特征向量的存在都会降低K近邻算法的精度。最近邻算法具有很强的一致性结果。由于数据趋于完美，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的K值，K-NearestNeighbors保证错误率不会超过贝叶斯理论错误率。KNN算法的优点是理论成熟，思路简单。它可以用于分类和回归；可用于非线性分类；训练时间复杂度为O(n)；对数据没有假设，准确率高，对异常值不敏感；缺点：计算量大；样本不平衡问题（即某些类别的样本数量较多，而其他样本数量较少）；需要大量内存；5.决策树易于解释。它可以无压力地处理特征之间的交互，并且是非参数的，所以你不必担心异常值或数据是否线性可分（例如，决策树可以轻松处理某些特征维度x处的A类最后，类别B在中间，然后类别A出现在特征维度x的前端。它的缺点之一是不支持在线学习，因此在新样本到来后，决策树需要完全重建。另一个缺点是它容易过拟合，但这正是随机森林RF（或提升树）等集成方法的用武之地。此外，随机森林通常是许多分类问题的赢家（通常比支持好一点点vectormachine），它的训练速度快，可调性强，不用像支持向量机一样担心调整很多参数，所以过去两者一直很流行。决策树中很重要的一点就是选择一个属性进行分支，所以要注意信息增益的计算公式，深入理解。信息熵的计算公式如下：其中n表示有n个分类类别（例如，如果是2类问题，则n=2）。分别计算这两类样本在总样本中的概率p1和p2，从而可以计算出未选中属性分支之前的信息熵。现在选择一个属性xixi进行分支。此时的分枝规则为：若xi=vxi=v，则将样本分到树的一个分支；如果它们不相等，则进入另一个分支。显然，分支中的样本很可能包含两个类别，分别计算两个分支的熵H1和H2，计算分支后的总信息熵H'=p1H1+p2H2，则信息此时增益ΔH=H–H'。基于信息增益原则，对所有属性进行测试，选择一个增益最大的属性作为分支属性。决策树本身的优点是计算简单，易于理解，可解释性强；更适合处理缺失属性的样本；它可以处理不相关的特征；它可以在较短的时间内对大数据源做出可行且有效的结果。结果。缺点是容易过拟合（随机森林可以大大降低过拟合）；忽略数据之间的相关性；对于那些每个类别样本数不一致的数据，在决策树中，信息增益的结果偏向于那些取值较多的特征（只要使用了信息增益，就有这个缺点，比如RF）。5.1AdaboostingAdaboost是一种加法模型。每个模型都是根据上一个模型的错误率建立的。它过多地关注错误的样本，而减少对正确分类样本的关注。经过连续迭代，一个相对更好的模型。是典型的boosting算法。以下是其优缺点的总结。优势Adaboost是一种具有非常高准确度的分类器。可以使用各种方法构建子分类器，Adaboost算法提供了框架。当使用简单分类器时，计算结果是可以理解的，弱分类器的构造极其简单。简单，无需特征筛选。不容易过拟合。随机森林、GBDT等组合算法可以参考这篇文章：机器学习——组合算法总结缺点：对离群点敏感6.SVM支持向量机的高精度为避免过拟合提供了很好的理论保证，并且即使数据在原始特征空间中是线性不可分的，只要给定一个合适的核函数就可以很好地工作。它在容易出现超高维度的文本分类问题中特别受欢迎。可惜内存消耗大，难以解释，操作和调参也有点烦，但随机森林恰好避免了这些缺点，更加实用。优点可以解决高维问题，即特征空间大；它可以处理非线性特征的相互作用；它不需要依赖整个数据；可以提高泛化能力；缺点是当观测样本较多时，效率不是很高；无非线性问题的通用解，有时很难找到合适的核函数；它对丢失的数据很敏感；在核的选择上也很有技巧（libsvm自带四种核函数：linearkernel,polynomialkernel,RBFandsigmoidkernel）：***，如果样本数小于特征数，则没有需要选择非线性核，直接使用线性核；第二，如果样本数大于特征数，那么可以使用非线性核将样本映射到更高维度，一般可以获得更好的结果；第三，如果样本数和特征数相等，这种情况下可以使用非线性核，原理同第二种。对于第一种情况，也可以先对数据进行降维，然后使用非线性核，也是一种方法。7、人工神经网络的优缺点人工神经网络的优缺点：分类准确率高；强大的并行分布式处理能力、分布式存储和学习能力，对噪声神经有很强的鲁棒性和容错性，能够充分逼近复杂的非线性关系；具有联想记忆的功能。人工神经网络的缺点：神经网络需要大量的参数，例如网络拓扑结构、权重和阈值的初始值；它们之间的学习过程无法观察，输出的结果也难以解释，会影响结果的可信度和可接受性。学习时间过长甚至可能达不到学习的目的。8.K-Means聚类之前写过一篇关于K-Means聚类的文章，博文链接：MachineLearningAlgorithm-K-meansClustering。关于K-Means的推导，里面有一个非常强大的EM思想。优点算法简单，易于实现；对于处理大型数据集，该算法具有相对可扩展性和高效性，因为其复杂度约为O(nkt)，其中n是所有对象的数量，k是聚类的数量，t是迭代次数。通常，k<算法会尝试找到使平方误差函数的值最小化的k个分区。当簇是密集的、球形的或块状的，并且簇彼此不同时，聚类效果更好。缺点对数据类型要求高，适合数值型数据；它可能会收敛到一个局部最小值，并且在大规模数据上收敛很慢。K值选取困难；对聚类中心值初值敏感，可能会导致不同的聚类结果；不适合寻找具有非凸形状的簇或大小差异很大的簇。对“噪音”和离群数据敏感，少量此类数据会对平均值产生很大影响。算法选择参考了之前翻译的一些国外文章。一篇文章给出了一个简单的算法选择技巧：首选应该是逻辑回归。如果它的效果不好，那么它的结果可以作为一个基准。参考，在基础上与其他算法进行比较；然后尝试决策树（随机森林），看看是否可以显着提高模型性能。即使你不把它当作最终模型，你也可以使用随机森林去除噪声变量并做特征选择；如果特征和观察样本的数量特别多，那么在资源和时间充足的情况下（这个前提很重要），使用SVM是一种选择。通常：[GBDT>=SVM>=RF>=Adaboost>=Other...]，深度学习现在很流行，在很多领域都有应用。它基于神经网络。目前自己也在学习，只是理论知识不是很扎实，理解不够深入，这里就不介绍了。算法固然重要，但好的数据胜过好的算法，设计好的特征大有裨益。如果你有一个非常大的数据集，无论你使用哪种算法可能对分类性能影响不大（此时你可以根据速度和易用性做出决定）。参考资料[1]https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff[2]http://blog.echen.me/2011/04/27/choosing-a-machine-learning-分类器/[3]http://www.csuldw.com/2016/02/26/2016-02-26-choosing-a-machine-learning-classifier/
