KKT条件

通过把正则化项作为约束条件，写出该优化的KKT条件，发现L2正则化项把解空间设定为圆形空间，L1正则化项解空间设为菱形解空间。原问题目标函数的解不是恰好落在解空间内，那么就落在解空间的边界上。L1正则化的解空间更容易与目标函数的等高线相交于角点(坐标轴上的点)，因此产生稀疏解；而L2正则化的解空间更容易与目标函数的等高线相交于近零点。

贝叶斯先验

L1正则化相当于对模型参数引入了拉普拉斯先验；L2正则化相当于对模型参数引入了高斯先验。拉普拉斯先验比高斯先验更容易获得稀疏值。高斯分布在极值点(0点)处是平滑的，也就是高斯先验分布在极值点取不同的值的可能性是接近的；而拉普拉斯分布在极值点处是一个尖峰，因此取0的可能性更高。