在解释基本机器学习概念时，我发现自己总是回到有限数量的图片。以下是我认为最有启发性的条目列表。1.测试和训练误差：为什么低训练误差并不总是一件好事：ESL图2.11。以模型复杂度为变量的测试和训练误差函数。2.Underandoverfitting：欠拟合或过拟合的例子。PRML图1.4。多项式曲线具有不同阶数M，由红色曲线表示，通过将绿色曲线拟合到数据集生成。3.奥卡姆剃刀ITILA图28.3。为什么贝叶斯推理可以体现奥卡姆剃刀原理。这张图给出了为什么复杂模型最终变成小概率事件的基本直观解释。横轴表示可能的数据集D空间。贝叶斯定理根据模型预测数据发生的程度按比例反馈模型。这些预测通过数据D上的归一化概率分布进行量化。给定模型Hi的数据概率P(D|Hi)据说支持Hi模型的证据。一个简单的模型H1只能做有限的预测，如P(D|H1)所示；例如，更强大的模型H2可以比模型H1拥有更多的自由参数，并且可以预测更多种类的数据集。这也表明，无论如何，H2在预测C1域中的数据集方面不如H1强大。假设为两个模型分配了相等的先验概率，则数据集落在C1区域，而功能较弱的模型H1将是更合适的模型。4.特征组合：（1）为什么在单独观察时集体相关的特征是不相关的，这就是为什么（2）线性方法可能会失败。来自IsabelleGuyon关于特征提取的幻灯片。5.不相关的特征：为什么不相关的特征会损害KNN、聚类和其他收集相似点的方法。左图和右图显示两种类型的数据在垂直轴上很好地分开。右边的图添加了一个不相关的水平轴，它打破了分组并使许多点成为相反类别的邻居。6.基函数非线性基函数如何将一个低维非线性边界分类问题转化为一个高维线性边界问题。AndrewMoore的支持向量机SVM（SupportVectorMachine）教程幻灯片包括：一个输入为x的一维非线性分类问题被转化为一个二维线性可分的z=(x,x^2)问题。7.判别式与生成式：为什么判别式学习比生成式学习更简单：PRML图1.27。这两种方法的分类条件密度的一个例子是单个输入变量x（左图），以及相应的后验概率（右图）。请注意，左侧分类条件密度p(x|C1)的模式（由左图中的蓝线表示）对后验概率没有影响。右图中的垂直绿线显示了x中的决策边界，它给出了最小的误报率。8.损失函数：学习算法可以看作是优化不同的损失函数：PRML图7.5。应用于支持向量机的“铰链”误差函数的图形，用蓝线表示，用于逻辑回归，当误差函数按因子1/ln(2)重新缩放时，它通过点(0,1），用红线表示。黑线表示错误分类，均方误差由绿线表示。9.最小二乘几何：ESL图3.2。具有两个预测变量的最小二乘回归的N维几何。生成的向量y正交投影到由输入向量x1和x2跨越的超平面上。投影y^表示最小二乘预测的向量。10.稀疏性：为什么Lasso算法（L1正则化或拉普拉斯先验）给出稀疏解（例如：具有更多0的加权向量）：ESL图3.11。套索算法的估计图像（左）和岭回归算法的估计图像（右）。显示不正确的轮廓和约束函数。分别当红色椭圆为最小二乘误差函数等高线时，蓝色实心区域为约束区域|β1|+|β2|≤t且β12+β22≤t2。原文链接：DenizYuret翻译：伯乐在线-船翻译链接：http://blog.jobbole.com/63748/
