01。前言前面我们讲了一元线性回归，没看过的可以先去看：【一元线性回归分析】。在本文中，我们将讨论多元线性回归。单变量线性回归是指自变量只有一个x，而多元线性回归是指自变量中有多个x。多元回归的形式如下：02.参数估计多元回归方程中的每个参数也需要估计。至于为什么要估计，我们在线性回归中也有讲到。与拟合直线的线性回归不同，多元回归拟合曲面。使用的方法也是最小二乘法。03.拟合度的判断多元回归中拟合度的判断与一元回归类似，主要有总平方和、回归平方和、残差平方和三种。多元回归中也有R^2，R^2=SSR/SST=1-SSE/SST。因为增加自变量会减少残差SSE，从而导致R^2增加。为什么添加新变量会降低SSE？因为每增加一个新变量，这个新变量就会贡献一部分平方和，而这个平方和是和残差分开的。为了避免盲目增加自变量导致R^2虚高，优秀的前辈们想出了一个新的指标，修正后的R^2。公式如下：公式中的n为样本数，k为自变量数，R^2通过n和k进行调整，使得R^2不会随着自变量数的增加而出现.也跟着增加。我们一般用调整后的R^2来判断多元回归的准确性。除了R^2，我们还可以用标准误来衡量回归模型的好坏。标准误差只是均方残差(MSE)的平方根，它表示从相应变量x预测因变量y时的平均预测误差。04.显着性检验我们在线性回归中做了显着性检验，在多元回归中也需要进行显着性判断。4.1线性关系检验线性关系检验是检验y与倍数x之间的关系是否显着，是一种整体显着性检验。检验方法与一元线性回归一致，即我们假设不存在线性关系，然后对变量进行F检验。详细的介绍可以参考一元线性回归中的解释。4.2回归系数检验线性关系显着性检验是对多个变量的显着性判断，也就是说，只要多个xs中有一个对y有显着影响，则线性关系显着。回归系数检验是看每个x对应的系数是否显着。看一个变量的系数是否显着，假设这个变量的系数等于0，然后进行t检验来判断显着性。具体的t检验可以在假设检验的内容中查看：【统计假设检验】。05.多重共线性多元回归与一元回归的另一个区别是多元回归可能存在多重共线性。什么是多重共线性？在多元回归中，我们希望多个x分别作用于y，即x分别与y相关。但是在实际场景中，x1和x2是有可能相互关联的，我们把这种x变量相互关联的情况称为多重共线性。多重共线性可能导致回归得到错误的结果。既然多重共线性问题很严重，那我们应该怎么找呢？最简单的方法是找出变量之间的相关性。如果两个变量高度相关，则可以认为存在多重共线性。对于存在多重共线性问题的变量，我们一般会舍弃其中一个。以上就是对多元回归的简单介绍。可以看到很多内容没有展开，主要是因为这些东西在之前的文章中已经讨论过了。没有看过的同学可以去之前对应的文章翻看。
