论文辅助 - 详解L1、L2、smooth L1三类损失函数 - 云社区 - 腾讯云 - 《Computer Vision》

前言

深度学习里面有很多的损失函数，对于 MSE、MAE 损失函数可能已经耳熟能详了了，对于 L1、L2 正则化也很熟悉，那你知道什么是 L1_loss 和 L2_loss 吗，以及在目标检测的系列论文比如 fast-RCNN、faster-RCNN 中经常出现的 smooth L1 损失又是什么呢？

一、常见的 MSE、MAE 损失函数

1.1 均方误差、平方损失

均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示：

详解L1、L2、smooth L1三类损失函数 - 云社区 - 腾讯云 - 图1

下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。我们可以看到随着误差的增加损失函数增加的更为迅猛。

详解L1、L2、smooth L1三类损失函数 - 云社区 - 腾讯云 - 图2

优点：各点都连续光滑，方便求导，具有较为稳定的解

缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能导致梯度爆炸

1.2 平均绝对误差

平均绝对误差（MAE）是另一种常用的回归损失函数，它是目标值与预测值之差绝对值的和，表示了预测值的平均误差幅度，而不需要考虑误差的方向（注：平均偏差误差 MBE 则是考虑的方向的误差，是残差的和），范围是 0 到∞，其公式如下所示：

详解L1、L2、smooth L1三类损失函数 - 云社区 - 腾讯云 - 图3

详解L1、L2、smooth L1三类损失函数 - 云社区 - 腾讯云 - 图4

优点：无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解

缺点：在中心点是折点，不能求导，不方便求解

备注：上面的两种损失函数也被很多资料或者是教材称之为

L2 损失和 L1 损失，但是本文还是将它们跟下面的 L1 损失和 L2 损失进行区分了的。

二、L1_Loss 和 L2_Loss

2.1 L1_Loss 和 L2_Loss 的公式

L1 范数损失函数，也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE）。总的说来，它是把目标值（Yi) 与估计值（f(xi)) 的绝对差值的总和（S) 最小化：

详解L1、L2、smooth L1三类损失函数 - 云社区 - 腾讯云 - 图5

L2 范数损失函数，也被称为最小平方误差（LSE）。总的来说，它是把目标值（Yi) 与估计值（f(xi)) 的差值的平方和（S) 最小化：

详解L1、L2、smooth L1三类损失函数 - 云社区 - 腾讯云 - 图6

L1 范数与 L2 范数作为损失函数的区别能快速地总结如下：

L2 损失函数

L1 损失函数

| |
| |

不是非常的鲁棒（robust）

鲁棒

|
|

稳定解

不稳定解

|
|

总是一个解

可能多个解

总结：实际上我们发现，其实所谓的 L1_Loss 与 L2_Loss 与前面说的 MSE、MAE 损失函数一个 1/n 的区别，所以他们的优点和缺点是互通的。

2.2 几个关键的概念

（1）鲁棒性（robustness）

因为与最小平方相比，最小绝对值偏差方法的鲁棒性更好，因此，它在许多场合都有应用。最小绝对值偏差之所以是鲁棒的，是因为它能处理数据中的异常值。这或许在那些异常值可能被安全地和有效地忽略的研究中很有用。如果需要考虑任一或全部的异常值，那么最小绝对值偏差是更好的选择。

从直观上说，因为 L2 范数将误差平方化（如果误差大于 1，则误差会放大很多），模型的误差会比 L1 范数来得大，因此模型会对这个样本更加敏感，这就需要调整模型来最小化误差。如果这个样本是一个异常值，模型就需要调整以适应单个的异常值，这会牺牲许多其它正常的样本，因为这些正常样本的误差比这单个的异常值的误差小。

（2）稳定性

最小绝对值偏差方法的不稳定性意味着，对于数据集的一个小的水平方向的波动，回归线也许会跳跃很大。在一些数据结构（data configurations）上，该方法有许多连续解；但是，对数据集的一个微小移动，就会跳过某个数据结构在一定区域内的许多连续解。（The method has continuous solutions for some data configurations; however, by moving a datum a small amount, one could “jump past” a configuration which has multiple solutions that span a region. ）在跳过这个区域内的解后，最小绝对值偏差线可能会比之前的线有更大的倾斜。相反地，最小平方法的解是稳定的，因为对于一个数据点的任何微小波动，回归线总是只会发生轻微移动；也就说，回归参数是数据集的连续函数。

三、smooth L1 损失函数

其实顾名思义，smooth L1 说的是光滑之后的 L1，前面说过了 L1 损失的缺点就是有折点，不光滑，那如何让其变得光滑呢？

smooth L1 损失函数为：

详解L1、L2、smooth L1三类损失函数 - 云社区 - 腾讯云 - 图7