1. Hinge Loss/铰链损失函数

https://blog.csdn.net/hustqb/article/details/78347713

Hinge Loss

在机器学习中，hinge loss 作为一个损失函数(loss function)，通常被用于最大间隔算法(maximum-margin)，而最大间隔算法又是SVM(支持向量机 support vector machines)用到的重要算法(注意：SVM的学习算法有两种解释：1. 间隔最大化与拉格朗日对偶；2. Hinge Loss)。
Hinge loss 专用于二分类问题，标签值 ，预测值 。该二分类问题的目标函数的要求如下：
当 大于等于 +1 或者小于等于 -1 时，都是分类器确定的分类结果，此时的损失函数 loss 为 0 ；而当预测值 时，分类器对分类结果不确定，loss 不为 0 。显然，当 时，loss 达到最大值。
  如果你想到了一个可以定义这种loss的函数，那说明有成为数学家的潜质。想不到的话就乖乖的往下看： hinge loss 出场。
对于输出 y=±1 ，当前 的损失为：

上式是 Hinge loss 在二分类问题的的变体，可以看做双向 Hinge loss 。难以理解的话，可以先看单方向的 hinge loss 。以 y=+1 ，为例。当 时， loss 为 0 ，否则 loss 线性增大。函数图像如下所示：

Hinge loss在SVM中的应用