1、内置损失函数

  • mean_squared_error（平方差误差损失，用于回归，简写为 mse, 类实现形式为 MeanSquaredError 和 MSE）
  • mean_absolute_error (绝对值误差损失，用于回归，简写为 mae, 类实现形式为 MeanAbsoluteError 和 MAE)
  • mean_absolute_percentage_error (平均百分比误差损失，用于回归，简写为 mape, 类实现形式为 MeanAbsolutePercentageError 和 MAPE)
  • Huber(Huber损失，只有类实现形式，用于回归，介于mse和mae之间，对异常值比较鲁棒，相对mse有一定的优势)
  • binary_crossentropy(二元交叉熵，用于二分类，类实现形式为 BinaryCrossentropy)
  • categorical_crossentropy(类别交叉熵，用于多分类，要求label为onehot编码，类实现形式为 CategoricalCrossentropy)
  • sparse_categorical_crossentropy(稀疏类别交叉熵，用于多分类，要求label为序号编码形式，类实现形式为 SparseCategoricalCrossentropy)
  • hinge(合页损失函数，用于二分类，最著名的应用是作为支持向量机SVM的损失函数，类实现形式为 Hinge)
  • kld(相对熵损失，也叫KL散度，常用于最大期望算法EM的损失函数，两个概率分布差异的一种信息度量。类实现形式为 KLDivergence 或 KLD)
  • cosine_similarity(余弦相似度，可用于多分类，类实现形式为 CosineSimilarity)

2、自定义损失函数

3、总结

一般来说，监督学习的目标函数由损失函数和正则化项组成。

在keras中损失函数和正则化项是在不同层定义的，例如使用Dense的 kernel_regularizer 和 bias_regularizer等参数指定权重使用l1或者l2正则化项，此外还可以用kernel_constraint 和 bias_constraint等参数约束权重的取值范围。

损失函数在模型compile时候指定

对于回归模型，通常使用的损失函数是平方损失函数 mean_squared_error。
对于二分类模型，通常使用的是二元交叉熵损失函数 binary_crossentropy。
对于多分类模型，如果label是one-hot编码，则使用类别交叉熵损失函数 categorical_crossentropy。如果label进行了类别序号编码编码，则需要使用稀疏类别交叉熵损失函数 sparse_categorical_crossentropy。