regularization L1

嗨，从没放弃的小努力你好：

L1正则化是在机器学习的损失函数后面添加的惩罚项，假设有如下带L1正则化的损失函数：

其中J0是原始的损失函数，加号后面的一项是L1正则化项，α 是正则化系数。机器学习的任务就是要通过一些方法（比如梯度下降），求出损失函数的最小值。我们相当于在损失函数里加了一个惩罚约束项L1=α*∑|w|。考虑二维的情况就是L1那个图，此时只有两个权重值w1和w2（就是图中β1和β2）。

菱形表示我们的两个β权重下的约束项L1（L1 = |β1|+|β2|），而圆圈表示不同的等值线，代表的是J0的值。而梯度下降算法中，算法的任务是让J0这些圆圈尽可能触碰到L1菱形，一旦第一次触碰到L1，就停止寻参的过程，这个是梯度下降算法的数学属性。L1菱形的角，比边更靠近等值线，所以必然是相交于右侧的角。

----------------------------------------------
加油吧，让我们一起遇见更好的自己！