SVM损失函数:铰链函数
    image.png
    不同的权重参数可能导致相同的损失大小(比如都=0),这个时候遵循“奥卡姆剃刀原理”,取最小的权重矩阵。

    正则化项(regularization)
    image.png
    让模型更加简单,减小过拟合,提高泛化能力。
    有L1和L2正则化,还有后面跟复杂的的dropout等本质上都是起到过拟合的作用。

    softmax分类器: