当前位置: 首页 > 科技观察

机器学习模型和高斯过程中的不确定性介绍

时间:2023-03-20 14:32:25 科技观察

让我们举个例子来说明我们面临的问题。想象一下,我们训练一个神经网络模型来预测图像包含汽车的概率。当我们使用这些概率对带有汽车的图像进行分类时,我们的模型具有很好的准确性。在某些时候,我们给神经网络模型一个它从未见过的图像,比如企鹅。该模型表示图像中包含汽车的可能性为97%。基于这个例子,你会相信模型的预测吗?事实证明,这是神经网络的典型行为,因为企鹅与我们的训练数据差异太大。这种了解未知物体的能力正是我们正在寻找的,因为它在某些决策制定应用程序中至关重要,例如自动驾驶汽车。什么是模型不确定性?当我们谈论机器学习模型时,有两种类型的不确定性:随机不确定性:它来自数据生成过程中的随机性,例如实验中的测量噪声。无论我们的模型有多好,都无法减少这种不确定性。认知不确定性:它来自知识的缺乏,这在机器学习中意味着我们没有足够的数据或者我们的模型不够专业。如果我们获得新知识,就可以减少这种不确定性。考虑到这一点,让我们看一个由高斯过程给出的不确定性估计的具体例子。GaussianProcessRegression高斯过程(GP)是一种贝叶斯机器学习模型。这意味着对于给定的数据输入点,我们将得到一个预测分布而不是像我们在神经网络中得到的点估计。预测方差可以解释为不确定性的估计。但是,这些模型是如何工作的?让我们想象一下,我们有以下回归问题要解决的是找到一个更适合数据的函数。为此,我们假设观测值y是对生成数据的函数的噪声观测值。也就是说,y=f(x)+ε其中,ε~