优化求解角度

考虑两个优化问题:
为什么L1正则的解是稀疏的? - 图1 为什么L1正则的解是稀疏的? - 图2
分别等价于(连续的带约束的优化问题)
为什么L1正则的解是稀疏的? - 图3 为什么L1正则的解是稀疏的? - 图4
image.png

为什么L1正则的解是稀疏的? - 图6为什么L1正则的解是稀疏的? - 图7模相同都是1,但为什么L1正则的解是稀疏的? - 图8的模分别为1和为什么L1正则的解是稀疏的? - 图9

先验概率分布角度

从线性模型的概率解释可知 L1正则 为什么L1正则的解是稀疏的? - 图10 是假设参数w 符合laplace分布
为什么L1正则的解是稀疏的? - 图11,其图形为为什么L1正则的解是稀疏的? - 图12
L2正则为什么L1正则的解是稀疏的? - 图13则是假设参数w符合高斯分布
为什么L1正则的解是稀疏的? - 图14,其图形为
为什么L1正则的解是稀疏的? - 图15

laplace分布是尖尖的分布,从图上就能看出,服从laplace分布的数据就是稀疏的了(小概率有值,大概率值都很小或为0).