当前位置: 首页 > 后端技术 > Python

四、Bagging和boosting

时间:2023-03-26 01:12:58 Python

Bagging和Boosting集成学习的两个代表作1、Bagging算法过程:通过对训练样本进行重采样得到不同的训练样本集,得到k个训练集(k个训练集相互独立);每个训练集训练得到k个模型,分类问题使用投票方法,回归模型使用均值方法得到最终结果。2.Boosting算法过程:不断将弱分类器强化为强分类器。最初,每个样本的权重是相等的。首先,第一个学习器根据全样本集进行学习,第二个学习器增加错误样本的权重,降低配对样本的权重,依次进行训练。最后,k模型的加权组合。bagging和boosting的区别1)样本选择和权重bagging:有放回抽样,每个训练集相互独立modelcombinationbagging:Weakmodelshaveequalweightsboosting:错误分类小的模型会有更大的权重3)parallelcomputingbagging:parallelgenerationboosting:onlyserialgeneration4)focusedbagging:reducevariance(方差)boosting:减少偏差(bias)