统计和机器学习是两个密切相关的领域。事实上，两者之间的界限有时可能非常模糊。然而，有一些方法显然属于统计领域，不仅在机器学习项目中有用，而且非常有价值。可以公平地说，需要统计方法才能有效地使用机器学习进行预测建模项目。统计学是先决条件机器学习和统计学是两个密切相关的研究领域。因此，许多统计学家将机器学习称为“应用统计学”或“统计学习”，而不是以计算机科学为中心的名称。所有机器学习的初学者都应该学习一点统计知识。下面是一些精心挑选的例子来说明。想想一本流行的应用机器学习书开头的这句话《 Applied Predictive Modeling 》：……读者应该有一些基本统计知识，包括方差、相关、简单线性回归和基本假设检验（例如p值和检验统计）。—第vii页，应用预测建模，2013这是流行书籍《 Introduction to Statistical Learning 》中的另一个例子：我们希望读者至少上过一门统计学基础课程。—第9页，统计学习简介R中的应用程序，2013。即使它不是统计的先决条件，也需要一些原始的先验知识，从广泛阅读的“编程集体智慧”的引用中可以看出：......这本书不假设你有任何先验知识[...]或统计知识。[...]但是了解一些三角函数和基本统计??知识将有助于您理解算法。—第xiii页，编程集体智能：构建智能Web2.0应用程序，2007年。为了能够理解机器学习，需要对以下内容有一些基本了解统计数据。要理解为什么会这样，我们必须首先理解为什么需要统计领域。为什么要学习统计学？原始观察本身就是数据，但它们不是信息或知识。数据提出了以下问题：最常见或预期的观察结果是什么？观察的局限性是什么？数据是什么样的？尽管看起来很简单，但必须回答这些问题，以便将原始观察结果转化为我们可以使用和共享的信息。除了原始数据，我们还可以设计实验来收集观察数据。从这些实验结果中，我们可能会遇到更复杂的问题，例如：哪些变量最相关？两个实验的结果有何不同？差异是真实的还是由于数据噪声？这些问题很重要。这些问题的答案对项目、利益相关者和有效决策至关重要。需要统计方法来找到有关数据问题的答案。我们可以看到，为了理解用于训练机器学习模型的数据和解释测试不同机器学习模型的结果，都需要统计方法。这只是冰山一角，因为预测建模项目的每一步都需要使用统计方法。什么是统计学？统计学是数学的一个子领域。它指的是处理数据并使用它来回答问题的方法的集合。统计是对令人费解的问题进行数值猜想的艺术。[…]这些方法是由寻找问题答案的人们开发了数百年。——第xiii页，统计，第四版，2007年。这是因为该领域包括一整套用于处理数据的方法，这些方法对uninitiated看起来像一些大的和不确定的。很难看出属于统计方法的方法与属于其他研究领域的方法之间的界限。通常，技术既可以是统计学中的经典方法，也可以是用于特征选择或建模的现代算法。尽管统计的应用知识不需要深入的理论知识，但一些重要且易于理解的定理可以为统计与概率之间的关系提供有价值的基础。两个例子包括大数定律和中心极限定理；第一个有助于理解为什么较大的样本通常更好，第二个为我们如何比较样本之间的预期值（例如平均值）提供了基础。关于我们在实践中使用的统计工具，将统计领域分为两大类方法可能会有所帮助：描述性统计，用于总结数据，以及推论统计，用于从数据样本中得出结论。统计学使研究人员能够从大量人群中收集信息或数据，然后总结他们的典型经验。[…]统计数据还用于得出有关组间一般差异的结论。[...]统计数据还可用于查看两个变量的分数是否相关并进行预测。第ix-x页，《通俗英语统计》，第三版，2010年。描述性统计描述性统计是指将原始观察结果汇总为我们可以理解和共享的信息的方法。通常，我们将描述性统计视为对数据样本统计值的计算，以总结数据样本的属性，例如共同的期望值（例如，均值或中位数）和数据的分布（例如，方差或标准差）。描述性统计还可能涵盖可用于可视化数据样本的图形方法。图表和图形可以提供对观察的形状或分布以及变量如何相互关联的有用的定性理解。推论统计推论统计是帮助从称为样本的较小观察集量化域或总体属性的方法的统称。通常，我们将推论统计视为根据人口分布估计的数量，例如预期值或分布。可以使用更复杂的统计推断工具来量化在给定假设下观察数据样本的可能性。这些工具通常被称为统计假设检验，其中被检验的基本假设称为原假设。给定我们可以假设的假设范围以及我们可能对数据施加的约束以增加测试结果正确的能力或可能性，有许多推论统计方法的例子。机器学习项目中使用的统计方法示例下面将展示统计方法的一些具体示例，这些示例在预测建模问题的关键步骤中很重要。可以公平地说，需要统计方法才能有效地完成机器学习方法的预测建模工作。1.问题框架预测建模问题中最大的影响可能是问题框架。这是问题类型的选择，比如回归或分类，可能还有问题输入和输出的结构和类型。问题的框架并不总是显而易见的。对于一个领域的新手，可能需要对该领域的观察进行广泛的探索。对于可能无法从常规角度看问题的领域专家，他们也可能通过从多个角度考虑数据来获得一些有用的信息。有助于在问题分类过程中探索数据的统计方法包括：探索性数据分析。聚合和可视化以探索数据的临时视图。数据挖掘。自动发现数据中的结构化关系和模式。2.数据理解数据理解是指对变量的分布和变量之间的关系有深入的了解。其中一些知识可能来自领域专业知识，或者需要领域专业知识来解释。尽管如此，研究领域的专家和新手都将从实际处理领域问题的实际观察中受益。统计方法的两大分支用于帮助理解数据。它们是：汇总统计。一种使用统计数据来总结变量之间的分布和关系的方法。数据可视化。一种使用图表和图形等可视化方式总结变量之间的分布和关系的方法。3.数据清理来自一个领域的观察通常不是原始的。尽管数据是数字的，但它会受到可能破坏数据保真度的过程的影响，这反过来可能会影响使用该数据的任何进一步过程或模型。一些示例包括：数据损坏。数据错误。数据丢失。识别和修复数据问题的过程称为数据清理统计方法用于数据清理，例如：异常值检测。一种识别分布中远离预期值的观察值的方法。归责。修复或填充损坏或丢失的观察结果的方法。4.在建模数据选择时，并不是所有的观测值或所有的变量都可能相关。将数据缩小到对做出预测最有用的那些元素的过程称为数据选择。数据选择的两种统计方法包括：数据样本。一种从较大的数据集中系统地创建较小的代表性样本的方法。特征选择。一种自动识别与结果变量最相关的变量的方法。5.数据准备数据通常不能直接用于建模。通常需要进行一些转换来改变数据的形状或结构，以更好地适应所选择的问题框架或学习算法。使用统计方法准备数据。一些常见示例包括：缩放。标准化和归一化等方法。编码。整数编码、One-hot编码等方法。转变。幂变换方法，例如Box-Cox方法。6.模型评估预测建模问题的一个关键部分是评估学习的方法。在对模型训练期间未见的数据进行预测时，通常需要估计模型的技能。通常，训练和评估预测模型的过程的计划称为实验设计。这是统计方法的一个完整子领域。实验设计。一种设计系统实验以比较自变量对结果影响的方法，例如选择机器学习算法以提高预测准确性。作为实施实验设计的一部分，使用方法对数据集进行重新采样，以便经济地使用可用数据来估计模型的技能。重采样方法。一种为了训练和评估预测模型而系统地将数据集划分为子集的方法。7.模型超参数配置给定的机器学习算法通常有一组超参数，允许用户根据具体问题定制学习方法。超参数的配置通常是经验性的而非分析性的，需要大量的实验来评估不同超参数值对模型效果的影响。使用两个统计子字段之一解释和比较不同超参数配置之间的结果：统计假设检验。一种方法（使用截止值和p值表示）在给定关于结果的假设或期望的情况下量化观察到的结果的可能性。估计统计。一种使用置信区间量化结果不确定性的方法。8.模型选择对于给定的预测建模问题，可能有不止一种机器学习算法适用于该问题。选择一种方法作为解决方案的过程称为模型选择。这可能涉及一组项目利益相关者的标准，但也涉及对问题评估方法的估计技巧的仔细解释。与模型配置一样，出于模型选择的目的，可以使用两类统计方法来说明不同模型的估计技能。它们是：统计假设检验。一种方法（使用截止值和p值表示）在给定关于结果的假设或期望的情况下量化观察到的结果的可能性。估计统计。一种使用置信区间量化结果不确定性的方法。9.模型展示一旦最终模型经过训练，就可以在使用或部署对真实数据进行实际预测之前将其展示给利益相关者。展示最终模型的一部分涉及展示模型的估计方法。估计统计领域的方法可用于通过使用公差区间和置信区间来量化机器学习模型估计技能的不确定性。估计统计。一种通过置信区间量化模型技能不确定性的方法。10.模型预测最后，是时候开始使用最终模型对我们不知道实际结果的新数据进行预测了。作为进行预测的一部分，量化预测的置信度很重要。与模型表示过程一样，我们可以使用估计统计领域的方法（例如置信区间和预测区间）来量化这种不确定性。估计统计。一种通过预测区间量化预测不确定性的方法。从上面的示例中，您可以看出统计方法在整个预测建模项目过程中的重要性。探索性数据分析、数据汇总和数据可视化可用于帮助构建预测建模问题并更好地理解数据。统计方法可用于清理和准备建模数据。统计假设检验和估计统计有助于模型选择，并展示最终模型的技能和预测。
