线性分类器

线性分类器是一种线性映射，将输入的图像特征映射为类别分数
image.png

损失函数搭建了模型性能与模型参数之间的桥梁，指导模型参数优化。

  • 损失函数是一个函数，用于度量给定分类器的预测值与真实值的不一致程度，其输出通常是一个非负实值。
  • 其输出的非负实值可以作为反馈信号来对分类器参数进行调整，以降低当前示例对应的损失值，提升分类器的分类效果。

损失函数定义

image.png

多类支撑向量机损失

image.png

正则项损失

image.png

超参数

image.png

梯度下降

image.png

随机梯度下降

image.png

小批量梯度下降

image.png