介绍机器学习中的模型参数和模型超参数在作用和来源上是不同的，模型超参数通常被称为模型参数，因此初学者很容易混淆。本文给出了模型参数和模型超参数的定义，并进行了比较，指出了两者的本质区别：模型参数是模型内部的配置变量，模型参数的值可以通过数据来估计；model超参数是model的外部配置，必须手动设置参数的值。我们在做研究的时候，会遇到很多术语。有时同名术语出现在不同的研究领域。例如，统计学和经济学中经常使用的“模型参数”和“模型超参数”，在机器学习中同样存在。机器学习领域的“模型参数”和“模型超参数”在功能和来源上都有区别。初学者如果对两者没有清晰的认识，往往学起来比较吃力，尤其是统计学和经济学领域的初学者。为了让大家在应用机器学习时对“参数化模型”和“超参数化模型”有一个清晰的定义，在本文中，我们将对这两个术语进行详细的讨论。首先我们来看看什么是“参数”？参数作为模型从历史训练数据中学习的一部分，是机器学习算法的关键。统计中的“参数”：在统计中，您可以假设变量的分布，例如高斯分布。高斯分布的两个参数是均值(μ)和标准差(sigma)。这在机器学习中是有效的，其中可以从数据中估计这些参数并将其用作预测模型的一部分。编程中的“参数”：在编程中，可以将参数传递给函数。在这种情况下，参数是一个函数参数，它可以有一个范围的值。在机器学习中，您正在使用的具体模型是函数，它需要参数才能对新数据进行预测。“参数”和“模型”之间的关系是什么？根据经典的机器学习文献，模型可以被认为是一个假设，而参数则是根据特定的数据集对假设进行的具体调整。模型的参数数量是固定的还是可变的，决定了模型是“参数化的”还是“非参数化的”。什么是模型参数？简单地说，模型参数是模型内部的一个配置变量，其值可以从数据中估计出来。具体而言，模型参数具有以下特点：模型参数是模型预测所必需的。模型参数值可以定义模型功能。模型参数是从数据中估计或学习的。模型参数一般不由从业者手动设置。模型参数通常保存为学习模型的一部分。模型参数通常使用优化算法进行估计，这是对参数可能值的有效搜索。模型参数的一些示例包括：人工神经网络中的权重。支持向量机中的支持向量。线性回归或逻辑回归中的系数。什么是模型超参数？模型超参数是模型外部的配置，其值无法从数据中估计。具体特点是：模型超参数在估计模型参数的过程中经常用到。模型超参数通常由从业者直接指定。通常可以使用启发式方法设置模型超参数。模型超参数通常针对给定的预测建模问题进行调整。如何获得其最优值：对于给定的问题，我们无法知道模型超参数的最优值。但是我们可以使用经验法则来找到它的最优值，或者为其他问题复制值，或者我们可以使用试错法。模型超参数的一些示例包括：训练神经网络的学习率。支持向量机的C和sigma超参数。k在k附近。“模型参数”和“模型超参数”之间的联系：当针对特定问题调整机器学习算法时，例如当使用网格搜索或随机搜索时，您正在调整模型的超参数或为了找到一个模型可以使模型预测最熟练的模型参数。许多模型中的重要参数不能直接从数据中估计出来。例如，在K-近邻分类模型中...这种类型的模型参数称为调整参数，因为没有可用的解析公式来为它计算出合适的值。–第64-65页，应用预测建模，2013区分：模型超参数通常称为模型参数，这可能会产生误导。解决这个问题的一个好的经验法则如下：如果你必须手动指定一个“模型参数”，那么它可能是一个模型超参数。小结阅读本文后，您可以清楚地了解模型参数和模型超参数之间的定义和区别。总之，模型参数是根据数据自动估计的，而模型超参数是手动设置的，并在估计模型参数的过程中使用。
