当前位置: 首页 > 后端技术 > Python

统计科学的加权最小二乘法

时间:2023-03-26 18:40:20 Python

今天我们就来说说加权最小二乘法(WLS)。加权最小二乘法是在普通最小二乘回归(OLS)的基础上进行修改的。来解决异方差问题。OLS的一般形式如下:前面我们提到OLS有几个基本假设,其中一个是ui是随机干扰项,即随机波动,不受其他因素影响,即当x取不同的值var(ui)是一个固定的常数。但有时ui并不是随机干扰项,而是与x的取值有关。例如,在研究年龄与工资收入的关系时,随着年龄的增长,ui的波动会越来越大,即var(ui)不再是一个常数,这就意味着出现了异方差。此时的数据不符合OLS的基本假设,所以如果直接用OLS进行估计,估计的结果会有偏差。如果我们在估算的时候能够考虑到不同x对应的ui的大小,结果应该是可以的。那么我们应该如何考虑呢?假设不同x对应的ui的波动(方差)为σi^2,我们将σi同时除以基本OLS方程的左右两边,最后得到如下结果:为了使方程看着比较眼熟,我们再做一次变换:变换后的方程和普通的OLS方程一样吗?此时方程也满足OLS的基本假设,因为我们去掉了不同x对应的σi。可用普通OLS方程的方法求解。我们将这个变换后的方程称为WLS,或加权最小二乘法。虽然整体思路没有问题,但是这里还有一个关键问题,如何获取σi?先用普通最小二乘OLS法进行估计估计,从而得到每个x对应的实际残差ui,然后将ui作为σi。1/ui作为权重乘以原方程的左右两边,得到的新样本值可以用普通最小二乘法进行估计。以上是对加权最小二乘法的简单介绍。