其实正则化的本质很简单。是对某一问题施加先验限制或制约,以达到特定目的的一种手段或操作。在算法中使用正则化的目的是防止模型过拟合。说到正则化,很多同学可能第一时间会想到常用的L1范数和L2范数。在总结之前,我们先来看看什么是LP范数?LP范数范数可以简单理解为用来表示向量空间中的距离,而距离的定义很抽象,只要满足非负的、自反的、三角不等式的都可以称为距离。LP范数不是一个范数,而是一组范数,定义如下:p的取值范围为[1,∞)。p在范围(0,1)内定义的不是范数,因为它违反了三角不等式。根据pp的变化,norm也有不同的变化。借用一张经典的关于P范数的变化图如下:上图是p从0变为正无穷时单位球(unitball)的变化。P范数下定义的单位球是凸集,但是当0