作为机器学习从业者,概率分布相关的知识你需要知道。这里列出了最常见的基本概率分布教程,主要与使用Python库的深度学习相关。概率分布概述共轭意味着它与共轭分布有关。在贝叶斯概率论中,如果后验分布p(θx)和先验概率分布p(θ)属于同一概率分布族,则先验和后验称为共轭分布,先验称为似然共轭先验为功能。共轭先验的维基百科在这里(https://en.wikipedia.org/wiki/Conjugate_prior)。Multiclass是指随机方差大于2。n次是指我们还要考虑先验概率p(x)。要了解有关概率的更多信息,我建议阅读[模式识别和机器学习,Bishop2006]。分布概率及特点1.均匀分布(连续)代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py均匀分布在[a,b]和相同的概率值,是一个简单的概率分布。2.伯努利分布(离散)代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py先验概率p(x)不考虑伯努利分布。因此,如果我们针对最大似然进行优化,我们很容易过度拟合。使用二元交叉熵的二元分类。它与伯努利分布的负对数具有相同的形式。3.二项分布(离散)代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py参数为n和p的二项分布是一系列n的独立实验中成功次数的离散概率分布。二项分布是一种通过指定提前挑选的数量来考虑先验概率的分布。4.多伯努利分布,分类分布(离散)代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/categorical.py多伯努利称为分类分布。交叉熵与取负对数的多重伯努利分布具有相同的形式。5.多项分布(离散)代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py多项分布与分类分布的关系和伯努利分布与二元分布的关系项目分布的关系是相同的。6.Beta分布(连续)代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.pyBeta分布与二项分布和伯努利分布共轭。使用共轭,可以使用已知的先验分布更容易地获得后验分布。当β分布满足特例(α=1,β=1)时均匀分布相同。7.狄利克雷分布(连续)代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py狄利克雷分布和多项分布是共轭的。如果k=2,则为beta分布。8.Gamma分布(连续)代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.pyifgamma(a,1)/gamma(a,1)+gamma(b,1)与beta(a,b)相同,则gamma分布为β分布。指数分布和卡方分布是伽马分布的特例。9、指数分布(连续)代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/exponential.py指数分布是α为1时γ分布的特例。10、高斯分布(连续)代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py高斯分布是一种很常见的连续概率分布。11、正态分布(连续)代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py正态分布是标准的高斯分布,平均值为0,标准偏差为1。12.卡方分布(连续)代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py卡方与k自由度该分布是k个独立标准正态随机变量的平方和的分布。卡方分布是β分布13.t分布(连续)的特例代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.pyt分布是对称的钟形分布,类似于正态分布,但尾部较重,这意味着它更有可能产生远低于均值的值。
