高斯过程已经存在了一段时间，但只是在过去的5到10年里，人们对它的兴趣才重新兴起。这部分是由于解决方案的计算复杂性：由于他们的模型需要矩阵求逆，复杂度为O(n3)，而且很难变得更快。正因如此，一时难以解决，因为计算能力一直是那么薄弱，但在过去几年里，随着ML背后如此多的研究和资金，它变得更有可能。高斯过程最酷的特征之一是它们与神经网络非常非常相似。事实上，众所周知，一个高斯过程（GP）相当于一个单层全连接神经网络，其参数更加独立同分布。比他们的参数。我想说明一点：下面的证据很简单，但影响深远。中心极限定理可以统一明显复杂的现象，在这种情况下，性能最好的模型可以被视为机器学习模型的一个子集，其领域尚未完全成熟。是的，对GP的研究已经过试验和测试，但仅在过去几年，研究人员才开发出能够表征非线性模式（如DNN所做的跳跃）的深度高斯过程。（特别是能够建模XOR逻辑）。所以从这一点上，我们可以看出收获很大。我一直想研究这个证据，这里有一个简单的证据。以下文章摘自Li等人的GoogleBrain论文，因此我要感谢他们使这篇文章如此易于访问。点符号注意：您不能在“媒体”上对所有内容进行下标，因此如果您看到下划线(M_l)，请假设这意味着M和l作为下标。因此，M_i+m考虑使用N_lL层的隐藏宽度层（对于层L）的完全连接的神经网络。令x∈Rd?为网络的输入，并令zl表示其输出（在L层）。在第l层中激活的第i个组件表示为xli和zli。第l层的weight和bias参数对于iid和bias参数的值为零，假设它们均值为零，σ2_w/N_l。>照片由Maximalfocus在Unsplash神经网络上拍摄现在我们知道神经网络输出的第i个分量(zli)计算如下：我们显示对输入x的依赖性。由于假定权重和偏差参数是独立同分布的，因此xli和xli'的pos激活函数对于j=/j'是独立的。现在，由于zli(x)是iid项的总和，它服从中心极限定理，在无限宽度(N1->∞)的极限内，zli(x)因此也是高斯分布的。高斯过程同样，从多维CLT中，我们可以推断出任何有限的变量集z都将是一个联合多元高斯分布，这恰好是我们高斯过程的精确定义。因此，我们可以得出结论，zli(x)=GP(μ1,K1)是一个均值μ1和K1为协方差的高斯过程，它们本身与i无关。由于参数的平均值为零，μ1=0，但K1(x,x')如下：其中，此协方差是通过对W0和b0的分布进行积分获得的。请注意，由于i=/=j的任意两个zli和zlj是协高斯分布且协方差为零，因此尽管使用隐藏层生成的相同函数，但它们保证是独立的。>照片由BirminghamMuseumsTrustonUnsplash提供一些证明简单而合乎逻辑，中心极限定理的神奇之处在于它统一了高斯分布下的一切。高斯分布很棒，因为边际化和调整变量（或维度）会导致高斯分布，并且函数形式相当简单，因此可以将事物压缩为封闭形式的解决方案（因此需要很少的优化技术）。让我知道你是如何找到我的逻辑的，提出问题，让我知道你是否有任何问题，如果我遗漏了什么！随时了解我的最新文章！
