损失函数

   所谓“损失”就是所有样本的“误差”的总和。而损失函数的作用，就是计算神经网络每次迭代的前向计算结果与真实值的差距，从而指导下一步的训练向正确的方向进行。通常来说，计算损失函数遵循如下步骤：

1. 用随机值初始化前向计算公式的参数；
   2.代入样本，计算输出的预测值；
   3.用损失函数计算预测值和标签值（真实值）的误差；
   4.根据损失函数的导数，沿梯度最小方向将误差回传，修正前向计算公式中的各个权重值；
   5.goto 2, 直到损失函数值达到一个满意的值就停止迭代

常用的损失函数

• Gold Standard Loss，又称0-1误差

• 绝对值损失函数

• Hinge Loss，铰链/折页损失函数或最大边界损失函数 — > SVM

• Log Loss，对数损失函数，又叫交叉熵损失函数 —> 分类/逻辑回归

• Squared Loss，均方差损失函数 —> 回归/拟合

• Exponential Loss，指数损失函数