损失函数

损失函数是用来告诉我们当前分类器性能好坏的评价函数，是用于指导分类器权重调整的指导性函数，通过该函数可以知道该如何改进权重系数。解决二分类问题的逻辑回归中用到的对数似然损失、SVM中的合页损失等等。
image.png

多分类SVM损失 计算平均合页损失

image.png
那么我们来求SVM损失
： image.png
第二章图片
image.png
最后一个结果
image.png
那么我们通过三个SVM来计算 平均合页损失;
image.png

Softmax 和 cross-entropy 计算损失

softmax

我们除了使用SVM计算损失函数 还可以通过softmax来计算
Softmax分类器是它泛化到多分类的情形。不像SVM那样会得到某个分类的分数，softmax会给出一个更加合适的输入即归一化的类别概率
image.png
tips: 可以把计算的输出结果看成是概率
image.png

cross-entropy

计算出了softmax 那么怎么得出损失呢？ 那么我们就需要交叉熵损失 来帮我们做计算
image.png

还有详细的svm以及softmask 的区别可以详细看一看这文章
原文